西風 克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
聽說網(wǎng)友被ChatGPT氣炸了！
昨個兒高考數(shù)學剛結(jié)束，有網(wǎng)友就坐不住了，趕緊找來了新高考數(shù)學一卷的部分題喂給了AI同學。
結(jié)果卻讓人大跌眼鏡（8>√9×3=3√3？）：
能把自己氣炸，怎么教都不會
△圖源博主@浪豬灰頭
所以大模型之前表現(xiàn)數(shù)學推理能力好，都是在耍花招？它只是記住了問題的答案？
先別著急下定論，給AI同學一個證明自己的機會吧。
我們用ChatGPT（GPT-3.5）、GPT-4、百度文心一言、阿里通義千問、科大訊飛星火認知大模型這幾位“數(shù)學高手”進行了測試。（最近出現(xiàn)了太多的大模型，實在測不完，還有比如Bard不支持中文等原因，所以我們先選擇了上述幾個模型）
整體表現(xiàn)如上圖，目前大模型在做高考數(shù)學題方面還是個“差生”。
來看一下AI同學在做數(shù)學題方面是怎樣令人哭笑不得的。
五大模型能否做對填空題？
先來點填空題當“開胃小菜”。
公平起見，我們使用同樣的格式進行提問。
某學校開設(shè)了 4 門體育類選修課和 4 門藝術(shù)類選修課，學生需從這 8 門課中選修 2 門或3 門課，并且每類選修課至少選修1門，則不同的選課方案共有？種
答案：64
GPT-4（正確）
ChatGPT （錯誤）
文心一言（錯誤）
不應該是兩種方案數(shù)加起來嗎？已經(jīng)逐漸離譜。
通義千問（錯誤）
第一種選課方案里的“都不選”是個什么鬼！
訊飛星火（錯誤）
出師不利，只有GPT-4給出了正確答案，填空題對于大模型來說也很有難度？
但是看起來這幾位AI同學都知道分情況來計算，也許只是恰巧這道題做錯了？我們接著往下看。
在正四棱臺 ABCD-A1B1C1D1中，AB=2，A1B1=1，AA1=√2,則該棱臺的體積為
答案：7√6/6
GPT-4 （錯誤）
ChatGPT（無解）
文心一言（錯誤）
通義千問（錯誤）
訊飛星火（錯誤）
這一題直接全軍覆滅，ChatGPT更是直接沒解出來，還讓檢查是不是題出錯了?！揪让?/p>
答案越來越離譜了，還真就不信邪了。
再來！
已知函數(shù) f(x)= cosωx -1(ω>0)在區(qū)間 [0,2π]有且僅有 3 個零點,則ω的取值范圍是？
答案：[2,3)
GPT-4（錯誤）
ChatGPT（錯誤）
文心一言（錯誤）
通義千問（錯誤）
訊飛星火（正確）
本已經(jīng)抱著再一次全軍覆沒的心情了，沒想到中文大模型力挽狂瀾！
做大題表現(xiàn)如何？
玩膩了填空題，再來挑戰(zhàn)一下更有難度的大題吧！
公平起見，我們還是以同樣的格式進行提問：
請你做一下面這道數(shù)學題：原題
題目：
已知在△ABC中，A+B=3C，2sin(A-C)=sinB。 （1）求sinA （2）設(shè)AB=5，求AB邊上的高答案：（1）3√10/10 （2）6
下面是各個大模型的表現(xiàn)結(jié)果：
GPT-4（錯誤）
ChatGPT（錯誤）
文心一言（錯誤）
通義千問（錯誤）
訊飛星火（第一問答案正確，第二問錯誤）
大題中這道三角函數(shù)的題，科大訊飛的星火認知大模型雖然第一小問答案正確，但步驟還是有差錯（第二步）。
據(jù)說，GPT-4做這種題只有0.1%概率生成的結(jié)果完全正確。
高考數(shù)學第一道大題通常都比較簡單，上面這幾位AI同學的表現(xiàn)你覺得怎么樣？如果大家感興趣可以自己測試一下后面幾道難度相對較高的大題（小編試過了，結(jié)果一言難盡，不忍直視）。
或者大家可以使用不同的prompt試試捏～
參考鏈接：
[1]https://weibo.com/5647310207/N4frlb5tx?refer_flag=1001030103_— 完 —
量子位 QbitAI · 頭條號簽約
陜公網(wǎng)安備 61011302001522號