蘋果研究揭示：大型語(yǔ)言模型存在重大AI推理缺陷

在人工智能領(lǐng)域，大型語(yǔ)言模型（LLMs）如OpenAI和谷歌所宣稱的先進(jìn)“推理”能力被認(rèn)為是邁向未來(lái)的關(guān)鍵一步。然而，蘋果的六名工程師進(jìn)行的一項(xiàng)新研究顯示，這些模型在面對(duì)看似微不足道的常規(guī)基準(zhǔn)問(wèn)題變化時(shí)，其數(shù)學(xué)“推理”能力極其脆弱且不可靠。

這項(xiàng)新研究的結(jié)果支持了之前的研究，即LLMs使用的概率模式匹配缺乏真正可靠數(shù)學(xué)推理能力所需的對(duì)底層概念的形式理解。“當(dāng)前的LLMs無(wú)法進(jìn)行真正的邏輯推理，相反，它們?cè)噲D復(fù)制在訓(xùn)練數(shù)據(jù)中觀察到的推理步驟。”研究人員基于這些結(jié)果提出了假設(shè)。

在名為“GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models”的預(yù)印本論文中，六名蘋果研究人員從GSM8K標(biāo)準(zhǔn)化的8000多個(gè)小學(xué)級(jí)數(shù)學(xué)文字題開始，這是現(xiàn)代LLMs復(fù)雜推理能力的基準(zhǔn)。然后，他們采取了一種新方法，動(dòng)態(tài)地用新值替換測(cè)試集中的某些名稱和數(shù)字——因此，GSM8K中關(guān)于Sophie為她侄子得到31塊積木的問(wèn)題，在新的GSM-Symbolic評(píng)估中可能變成關(guān)于Bill為他兄弟得到19塊積木的問(wèn)題。

這種方法有助于避免直接將靜態(tài)GSM8K問(wèn)題輸入AI模型訓(xùn)練數(shù)據(jù)時(shí)可能出現(xiàn)的“數(shù)據(jù)污染”。同時(shí)，這些偶然的變化并不改變固有數(shù)學(xué)推理的難度，理論上模型在GSM-Symbolic上的測(cè)試表現(xiàn)應(yīng)該和GSM8K一樣好。

然而，當(dāng)研究人員在GSM-Symbolic上測(cè)試了20多個(gè)最先進(jìn)的LLMs時(shí)，他們發(fā)現(xiàn)與GSM8K相比，平均準(zhǔn)確性普遍下降，不同模型的性能下降了0.3%到9.2%。結(jié)果還顯示，在50次不同的GSM-Symbolic運(yùn)行中，使用不同的名稱和值，性能差異很大。在單一模型中，最佳和最差運(yùn)行之間的準(zhǔn)確性差距高達(dá)15%是常見的，而且出于某種原因，改變數(shù)字比改變名稱更可能導(dǎo)致準(zhǔn)確性下降。

這種變化——無(wú)論是在不同的GSM-Symbolic運(yùn)行中，還是與GSM8K結(jié)果相比——都有點(diǎn)令人驚訝，因?yàn)檠芯咳藛T指出，“解決一個(gè)問(wèn)題所需的整體推理步驟保持不變。”這些小變化導(dǎo)致如此不同的結(jié)果這一事實(shí)表明，這些模型并沒(méi)有進(jìn)行任何“形式”推理，而是“嘗試進(jìn)行一種在訓(xùn)練數(shù)據(jù)中看到的類似問(wèn)題和解決方案步驟的分布模式匹配。”

盡管如此，GSM-Symbolic測(cè)試的整體變化在總體上通常相對(duì)較小。例如，OpenAI的ChatGPT-4o在GSM8K上的準(zhǔn)確性從95.2%下降到GSM-Symbolic上的94.9%，仍然令人印象深刻。這是一個(gè)相當(dāng)高的成功率，無(wú)論模型本身是否在幕后使用“形式”推理（盡管當(dāng)研究人員在問(wèn)題中增加了一個(gè)或兩個(gè)額外的邏輯步驟時(shí)，許多模型的總準(zhǔn)確性急劇下降）。

當(dāng)蘋果研究人員修改GSM-Symbolic基準(zhǔn)，通過(guò)添加“看似相關(guān)但最終無(wú)關(guān)的陳述”到問(wèn)題中時(shí)，測(cè)試的LLMs表現(xiàn)得更糟。在這個(gè)“GSM-NoOp”基準(zhǔn)集中（“無(wú)操作”的簡(jiǎn)稱），關(guān)于某人在多天內(nèi)挑選了多少獼猴桃的問(wèn)題可能會(huì)被修改為包括偶然的細(xì)節(jié)，即“其中五個(gè)獼猴桃比平均小一些。”

添加這些干擾信息導(dǎo)致了與GSM8K相比的“災(zāi)難性性能下降”，下降幅度從17.5%到65.7%不等，具體取決于測(cè)試的模型。這些準(zhǔn)確性的大幅下降突顯了使用簡(jiǎn)單的“模式匹配”將“陳述轉(zhuǎn)換為操作而不真正理解其含義”的固有限制，研究人員寫道。

例如，在獼猴桃的例子中，大多數(shù)模型試圖從最終總數(shù)中減去較小的水果，因?yàn)檠芯咳藛T推測(cè)，“它們的訓(xùn)練數(shù)據(jù)集中包含了需要轉(zhuǎn)換為減法操作的類似示例。”這是研究人員所說(shuō)的“關(guān)鍵缺陷”，表明模型的推理過(guò)程中存在更深層次的問(wèn)題，這些問(wèn)題無(wú)法通過(guò)微調(diào)或其他改進(jìn)來(lái)解決。

這項(xiàng)新的GSM-Symbolic論文的結(jié)果在AI研究領(lǐng)域并不罕見。其他最近的論文也表明，LLMs并沒(méi)有真正進(jìn)行形式推理，而是通過(guò)在龐大的訓(xùn)練集中看到的最相似數(shù)據(jù)的概率模式匹配來(lái)模仿推理。

然而，這項(xiàng)新研究強(qiáng)調(diào)了當(dāng)問(wèn)題推動(dòng)模型朝著與任何訓(xùn)練數(shù)據(jù)不完全匹配的方向前進(jìn)時(shí)，這種模仿的脆弱性。它還突顯了在沒(méi)有背后邏輯或世界模型的情況下進(jìn)行高級(jí)推理的固有局限性。正如Ars的Benj Edwards在7月份關(guān)于AI視頻生成的故事中所說(shuō)的那樣：

“OpenAI的GPT-4之所以引人注目，一個(gè)原因是該模型的規(guī)模終于足夠大，能夠吸收足夠的信息（在訓(xùn)練數(shù)據(jù)中），給人的印象是它可能能夠真正理解和模擬世界，而實(shí)際上，它的成功的關(guān)鍵方面是它“知道”的比大多數(shù)人類都多，并且可以通過(guò)以新穎的方式組合這些現(xiàn)有概念來(lái)給我們留下深刻印象。隨著足夠的訓(xùn)練數(shù)據(jù)和計(jì)算能力，AI行業(yè)最終可能會(huì)實(shí)現(xiàn)AI視頻合成的‘理解的幻覺(jué)’……”

我們可能會(huì)看到AI最新的“推理”模型的類似“理解的幻覺(jué)”，并且看到當(dāng)模型遇到意外情況時(shí)，這種幻覺(jué)是如何破滅的。

AI專家Gary Marcus在對(duì)新的GSM-Symbolic論文的分析中認(rèn)為，只有當(dāng)這些神經(jīng)網(wǎng)絡(luò)能夠整合真正的“符號(hào)操作，其中一些知識(shí)以變量和變量上的操作的形式真正抽象地表示，就像我們?cè)诖鷶?shù)和傳統(tǒng)計(jì)算機(jī)編程中看到的那樣……”時(shí)，AI能力的下一次大飛躍才會(huì)到來(lái)。在此之前，我們將得到那種脆弱的“推理”，可能導(dǎo)致AI模型以計(jì)算器永遠(yuǎn)不會(huì)的方式在數(shù)學(xué)測(cè)試中失敗。