強(qiáng)化學(xué)習(xí)之父薩頓演講：大模型不是超級(jí)智能，真正的AI還在后面

今天，2026 世界人工智能大會(huì)（WAIC）正式落下帷幕。過去三天，從 OpenAI、Google DeepMind 到圖靈獎(jiǎng)得主、強(qiáng)化學(xué)習(xí)奠基人 Richard Sutton，多位人工智能領(lǐng)域的重要學(xué)者和企業(yè)代表圍繞 AGI、大模型、智能體等話題分享了他們對(duì)未來 AI 的判斷。

其中，Sutton 已經(jīng)是連續(xù)第二年在 WAIC 的舞臺(tái)上進(jìn)行演講。這也是他宣布創(chuàng)辦 AI 公司 Oak Lab 后的首次公開演講。就在一周前，他剛剛宣布離開 John Carmack 創(chuàng)辦的 Keen Technologies，轉(zhuǎn)而押注一條不同于當(dāng)前大模型的發(fā)展路線：讓 AI 像人一樣，在與世界持續(xù)互動(dòng)中不斷學(xué)習(xí)，而不是主要依賴靜態(tài)數(shù)據(jù)訓(xùn)練。

這其實(shí)也是他近兩年來反復(fù)強(qiáng)調(diào)的核心觀點(diǎn)。去年，他在 WAIC 提出人工智能正從依賴靜態(tài)數(shù)據(jù)邁向依靠與世界互動(dòng)不斷學(xué)習(xí)的“體驗(yàn)時(shí)代”（Era of Experience）。今年，他則回到了自己最著名的觀點(diǎn)——《苦澀的教訓(xùn)》（The Bitter Lesson），并借此追問：如果人工智能的發(fā)展仍遵循過去七十年的規(guī)律，那么今天如日中天的大語言模型（LLM），是不是也只是 AI 演進(jìn)過程中的一個(gè)階段？

這位圖靈獎(jiǎng)得主給出的答案是：是。在他看來，雖然大語言模型代表的基礎(chǔ)模型當(dāng)然會(huì)長期存在，也將成為未來 AI 生態(tài)的重要組成部分。但它們并不會(huì)演化成能夠理解一切、創(chuàng)造一切的"超級(jí)心智"。相反，它們更現(xiàn)實(shí)的未來，是成為可靠、可共享、能夠服務(wù)不同用戶的"超級(jí)百科全書"。

（來源：WAIC）

“苦澀的教訓(xùn)”還會(huì)再發(fā)生一次嗎

薩頓從這篇只有一頁半、卻在人工智能領(lǐng)域廣為流傳的短文講起。

2019 年，他發(fā)表《苦澀的教訓(xùn)》（The Bitter Lesson），總結(jié)了人工智能研究七十年來反復(fù)出現(xiàn)的一種模式：研究者總喜歡把人的知識(shí)、經(jīng)驗(yàn)和規(guī)則寫進(jìn)系統(tǒng)。這種方法短期內(nèi)往往見效快，也讓研究者擁有更強(qiáng)的控制感；但隨著計(jì)算能力不斷提升，它們最終都會(huì)遇到瓶頸，并被更依賴計(jì)算規(guī)模、搜索和機(jī)器學(xué)習(xí)的新方法所取代。

國際象棋、計(jì)算機(jī)視覺、自然語言處理都經(jīng)歷過類似的轉(zhuǎn)折。以自然語言處理為例，早期研究高度依賴語言學(xué)規(guī)則，隨后統(tǒng)計(jì)模型、隱馬爾可夫模型（Hidden Markov Model）逐漸成為主流；再后來，機(jī)器學(xué)習(xí)、海量互聯(lián)網(wǎng)數(shù)據(jù)和大規(guī)模計(jì)算又推動(dòng)整個(gè)領(lǐng)域邁入了大模型時(shí)代。

（來源：YouTube）

這個(gè)教訓(xùn)之所以被稱為“苦澀”，是因?yàn)楸蝗〈耐⒎清e(cuò)誤的方法，而恰好是那些曾經(jīng)十分有效、也凝聚了研究者大量心血的方法。薩頓強(qiáng)調(diào)，《苦澀的教訓(xùn)》并不是一條物理定律，但同樣的歷史已經(jīng)重復(fù)了太多次，因此沒有理由認(rèn)為，它會(huì)在今天停止。

他把這一思想進(jìn)一步概括成一句話：不要把注意力過多放在人類已有的知識(shí)上，而應(yīng)專注于那些能夠持續(xù)擴(kuò)展、能夠不斷創(chuàng)造知識(shí)的方法。

于是，今年演講的核心問題也隨之浮現(xiàn)：大語言模型和基礎(chǔ)模型（Foundation Models），究竟有沒有真正吸取《苦澀的教訓(xùn)》？

薩頓的回答是：“是，也不是。”

“是”，是因?yàn)榇竽Ｐ偷尼绕鸨旧砭褪恰犊酀慕逃?xùn)》的體現(xiàn)。它們依靠不斷增長的算力、海量互聯(lián)網(wǎng)數(shù)據(jù)和規(guī)模化訓(xùn)練獲得能力，而不是主要依賴人工編寫規(guī)則，這正是《苦澀的教訓(xùn)》所強(qiáng)調(diào)的發(fā)展路徑。

“不是”，是因?yàn)樗鼈冏顝?qiáng)大的能力，同時(shí)也是最大的局限。它們建立在人類已經(jīng)創(chuàng)造出來的知識(shí)之上。語言、圖像、代碼構(gòu)成了訓(xùn)練基礎(chǔ)，因此擅長組織、調(diào)用和解釋既有知識(shí)，卻難以像人一樣，在真實(shí)世界中持續(xù)探索、持續(xù)學(xué)習(xí)，并創(chuàng)造新的知識(shí)。

在薩頓看來，這種依賴最終可能成為大模型發(fā)展的天花板。

今天的基礎(chǔ)模型可以表現(xiàn)得像一個(gè)知識(shí)淵博的對(duì)話者，但“知道人類說過什么”和“在世界中發(fā)現(xiàn)新的東西”，本質(zhì)上是兩件不同的事情。如果人工智能的發(fā)展再次遵循過去七十年的規(guī)律，那么那些完全依賴既有人類知識(shí)的系統(tǒng)，長期來看仍有可能被能夠通過搜索、行動(dòng)和學(xué)習(xí)不斷創(chuàng)造新知識(shí)的系統(tǒng)所取代。

世界大于任何一個(gè)心智

為了回答基礎(chǔ)模型最終能走到哪里，薩頓提出了一個(gè)“大世界視角”（Big World Perspective，也稱 Big World Hypothesis）。

他的出發(fā)點(diǎn)很簡單：世界永遠(yuǎn)比任何一個(gè)心智更加復(fù)雜，而且世界本身還包含著無數(shù)其他心智。因此，無論一個(gè)模型擁有多少參數(shù)、訓(xùn)練了多少數(shù)據(jù)，都不可能真正容納整個(gè)世界。

（來源：Richard Sutton）

他舉了一個(gè)簡單的例子。人與人交流時(shí)，總會(huì)在腦海里建立關(guān)于對(duì)方的認(rèn)知模型，以判斷對(duì)方是否理解自己的意思。但無論如何，我們都不可能真正知道另一個(gè)人在想什么。人工智能面對(duì)的也是同樣的限制。一個(gè)模型如果希望覆蓋更廣泛的領(lǐng)域，就必須接受理解上的局限：覆蓋范圍越廣，并不意味著對(duì)每一個(gè)局部都能擁有無限深入、完整無缺的認(rèn)識(shí)。

薩頓把這稱作一個(gè)“美麗的真相”（a beautiful truth）。它提醒人和機(jī)器都承認(rèn)自身的有限，也打破了關(guān)于“無所不知的超級(jí)心智”的想象。未來的人工智能不會(huì)比每個(gè)人更了解他的生活，也不會(huì)比他更理解自己的朋友、關(guān)系和所處環(huán)境。每一個(gè)人，以及每一個(gè)能夠持續(xù)學(xué)習(xí)和成長的智能體，都只會(huì)成為自己那一小塊世界里的專家。

這種思考，也對(duì)應(yīng)上了他前不久和社會(huì)人類學(xué)家項(xiàng)飆的一場對(duì)談。

在那場對(duì)話中，項(xiàng)飆同樣反對(duì)把人工智能理解為一種能夠?qū)崿F(xiàn)無限增長、無限設(shè)計(jì)的工具。他舉了一個(gè)會(huì)議的例子：每個(gè)人看到的都只是會(huì)議的一部分，正是這些彼此不同、彼此有限的視角，共同拼出了完整的公共討論。如果一個(gè)智能體宣稱自己能夠窮盡會(huì)議中的所有信息，那么人與人之間的交流，以及公共空間本身，反而可能失去生命力。

（來源：方塘論壇）

兩人的關(guān)注點(diǎn)并不完全相同。薩頓相信，能夠像人一樣持續(xù)體驗(yàn)、學(xué)習(xí)并創(chuàng)造知識(shí)的人工智能終將出現(xiàn)；項(xiàng)飆則更關(guān)注那些難以被標(biāo)準(zhǔn)化的數(shù)據(jù)之外的東西。身體感受、主觀經(jīng)驗(yàn)，以及人與人之間不斷生成的社會(huì)關(guān)系。

但兩人的討論最終都指向了同一個(gè)問題：信息覆蓋面的擴(kuò)大，并不必然意味著理解能力的提升；把“知道得更多”直接等同于“理解得更深”，本身就是一種值得警惕的誤解。

在這幅“大世界”的圖景下，薩頓進(jìn)一步勾勒了未來人工智能可能的發(fā)展方向。

第一類是具有明確邊界的專用系統(tǒng)，例如自動(dòng)駕駛汽車。它們只需要在特定場景中完成任務(wù)，并不需要擁有完整的心智。

另一類，則是薩頓真正期待出現(xiàn)的人工智能。它們像人一樣擁有“完整心智”（complete minds），能夠在一生中持續(xù)體驗(yàn)、學(xué)習(xí)、創(chuàng)造、思考，甚至做夢(mèng)，并隨著不斷接觸世界，逐漸形成屬于自己的專長。它們不會(huì)無所不知，卻會(huì)擁有屬于自己的經(jīng)驗(yàn)。

而基礎(chǔ)模型，則介于兩者之間。它們由許多人共同使用，承擔(dān)的是保存、組織和傳播人類已有知識(shí)的角色。薩頓認(rèn)為，這類模型的目標(biāo)不應(yīng)該是對(duì)所有問題都給出答案，更不應(yīng)該在缺乏依據(jù)時(shí)假裝知道，而是盡可能準(zhǔn)確地呈現(xiàn)當(dāng)前人類已經(jīng)達(dá)成共識(shí)的知識(shí)邊界。

這意味著，基礎(chǔ)模型首先需要解決的不是如何顯得更聰明，而是如何變得更可靠。在薩頓看來，目前大模型頻繁出現(xiàn)“幻覺”，一個(gè)重要原因就在于，人們不斷要求它回答那些已經(jīng)超出了訓(xùn)練數(shù)據(jù)和已有知識(shí)范圍的問題。他主張接受一種看似收縮、實(shí)則更加清晰的定位：讓基礎(chǔ)模型成為準(zhǔn)確的人類知識(shí)載體，把已有知識(shí)組織得更容易獲取，并能夠根據(jù)不同人的理解水平，以不同方式解釋同一件事情。

他把這樣的系統(tǒng)稱為“超級(jí)百科全書”（super encyclopedia）。相比“超級(jí)智能”這樣充滿想象力的目標(biāo)，這一定位聽起來更加現(xiàn)實(shí)。一個(gè)能夠準(zhǔn)確回答自己知道什么、也坦誠承認(rèn)自己不知道什么的系統(tǒng)，或許比一個(gè)看似無所不能、卻真假難辨的聊天機(jī)器人更有價(jià)值。

當(dāng) AI 給出即時(shí)答案，人還需要保留什么

在此前與薩頓的對(duì)談中，項(xiàng)飆對(duì)大語言模型的觀察，也為這個(gè)問題提供了另一層視角。

他認(rèn)為，大模型之所以能夠迅速發(fā)展，與現(xiàn)代社會(huì)長期積累的大量文本密切相關(guān)。過去，人們不斷把經(jīng)驗(yàn)轉(zhuǎn)化為文字，把語言變得越來越抽象、越來越標(biāo)準(zhǔn)化，使知識(shí)能夠脫離具體情境，被復(fù)制、傳播和共享。從這個(gè)意義上說，今天的大模型并不完全屬于“設(shè)計(jì)時(shí)代”，它同樣建立在一個(gè)漫長的“復(fù)制時(shí)代”之上。人類先把經(jīng)驗(yàn)變成可以流通的符號(hào)，模型再學(xué)習(xí)、重組這些符號(hào)，構(gòu)建出一個(gè)近似現(xiàn)實(shí)的文本世界。

問題在于，這個(gè)由符號(hào)構(gòu)成的世界，可能反過來比真實(shí)生活更具吸引力，也更容易讓人誤以為它就是現(xiàn)實(shí)。

項(xiàng)飆舉了一個(gè)例子。傾聽原本是一件需要耐心的事情：人們需要等待語言逐漸匯聚成意義，再去感受表達(dá)中的停頓、猶豫、不確定性以及人與人之間的張力。社交媒體已經(jīng)讓這種能力有所削弱，而能夠即時(shí)生成答案的 AI，則可能進(jìn)一步讓人失去分析、批判和獨(dú)立判斷的“肌肉”。

這并不是薩頓這場演講直接討論的話題，卻與他對(duì)基礎(chǔ)模型的定位形成了某種呼應(yīng)。

如果基礎(chǔ)模型的角色，是整理、組織和呈現(xiàn)人類已經(jīng)形成的公共知識(shí)，那么發(fā)現(xiàn)新知識(shí)、理解具體情境、積累個(gè)人經(jīng)驗(yàn)，就不能完全交給模型。基礎(chǔ)模型可以幫助人接近世界，卻不能代替人經(jīng)歷世界。

從去年的“體驗(yàn)時(shí)代”（Era of Experience），到今年重新談起《苦澀的教訓(xùn)》，薩頓真正關(guān)心的問題其實(shí)沒有改變，只是變得更加具體。他始終認(rèn)為，人工智能下一步的關(guān)鍵，不是繼續(xù)把人類留下的數(shù)據(jù)裝進(jìn)更大的模型，而是讓智能體真正進(jìn)入世界，在行動(dòng)中獲得經(jīng)驗(yàn)，并不斷從行動(dòng)的結(jié)果中學(xué)習(xí)。

也正因如此，他對(duì)基礎(chǔ)模型的判斷既樂觀，也克制。它們不會(huì)消失，也無需被貶低。如果能夠成為準(zhǔn)確、可靠、開放，并能夠因人而異地組織和解釋知識(shí)，它們就是一項(xiàng)重要的技術(shù)成就。但如果把基礎(chǔ)模型視作通向全知智能的終點(diǎn)，那么正如《苦澀的教訓(xùn)》所揭示的那樣，它們最終也可能像過去許多 AI 技術(shù)一樣，被一種更能夠依靠行動(dòng)、搜索和學(xué)習(xí)創(chuàng)造新知識(shí)的范式所取代。

參考鏈接：https://www.incompleteideas.net/IncIdeas/BitterLesson.html

運(yùn)營/排版：何晨龍

注：封面由 AI 輔助生成