![]()
大模型,只是受限于人類共識的容器
作者丨吳思夢
編輯丨岑 峰
古代航海時代,人們相信,只要地圖畫得足夠完整,世界終將沒有未知之地。
后來人們發現,地圖永遠追不上世界。每發現一塊新的大陸,地圖就要重畫一次;每誕生一種新的知識,人類對世界的認知就要更新一次。
今天的大語言模型,正在試圖成為這樣一張“世界地圖”。它收納了互聯網、書籍、論文,以及幾乎所有已經被記錄的人類知識,看起來無所不知。
2026年,在上海舉辦的世界人工智能大會(WAIC)上,特意身著一襲中式傳統紋樣襯衫的Richard Sutton緩緩走上講臺。他提出了一個相反的問題:如果AI擁有的,只是已經畫在地圖上的世界,那么地圖之外呢?
![]()
Sutton有資格提出這個問題。
作為強化學習領域的奠基人、2024年圖靈獎得主,2019年,他寫下了一篇只有一頁半的短文《The Bitter Lesson》(《苦澀的教訓》)。文章指出,過去70年AI領域幾乎每一次真正的飛躍,都不是因為研究者把人類知識編碼得更精巧,而是因為某種更“笨拙”的東西——大規模計算——最終碾壓了一切手藝。從國際象棋、語音識別到計算機視覺,無一例外。
這篇文章后來在Twitter(現X)上被廣泛傳播,也成為AI領域影響最廣、被引用最多的經典文章之一。今天,一個幾乎無人反對的共識是:大語言模型,正是“苦澀的教訓”最新的一次勝利——它依靠海量算力和數據,而非人工設計的規則,走到了今天。
但站在WAIC的講臺上,Sutton給出的答案卻是:是,也不是。
大語言模型確實繼承了“苦澀的教訓”,找到了持續擴展計算規模的方法,這是它“對”的一面。但它最大的超能力——來自人類知識,也可能成為它最大的邊界。
因為它存儲的是人類已經達成共識的知識,而不是尚未被發現的真理。
如果歷史再次重演,終有一天,一種能夠自主創造知識、不再依賴人類數據的方法,或許會像當年的大規模計算一樣,取代今天的大語言模型。
地圖可以畫得越來越完整,卻永遠無法提前畫出下一塊大陸。
這場演講的價值,不僅僅在于預言大模型的終結,還在于提出了一個更根本的問題:當AI的全部力量都建立在人類已知的知識之上時,那些尚未被發現的知識,又將從哪里誕生?
以下內容基于Richard Sutton在WAIC大會發表的主旨演講,AI科技評論根據原英文演講內容進行了不改原意的翻譯編輯。
▎The Bitter Lesson of AI Research
主講人:Richard Sutton,2024年圖靈獎得主,阿爾伯塔大學計算機科學
![]()
01
“苦澀的教訓”:
AI反復驗證了70年的規律
非常感謝,很高興有機會和大家分享一些關于《The Bitter Lesson》的思考——它關乎AI研究最重要的發展方向。 先簡單說說它的來歷。
這篇文章最早源于2018年的一次內部會議。當時我提出這些觀點后,在場不少研究者并不認同。2019年,它正式發表,并迅速在Twitter(現X)上傳播,后來幾乎成了AI領域的一篇“經典短文”。
整篇文章只有一頁半,我一直建議大家親自讀一讀。不過,由于它最后一段本身就是全文的總結,所以我今天這張幻燈片直接引用了原文。 所謂“苦澀的教訓”,其實源于一個反復出現的歷史規律。
![]()
長期以來,AI研究者總希望把人類知識直接編碼進智能體(agent)。這種做法短期內往往十分有效,也符合研究者的直覺,因此總是很受歡迎。但從長期來看,它終究會遇到瓶頸,甚至阻礙進一步的發展。
真正帶來突破的,最終總是另一條路徑:依靠搜索(search)和學習(learning)不斷擴展計算規模。
這,就是“苦澀的教訓” ,為什么說它“苦澀”?
因為研究者投入大量心血設計的方法,起初確實有效,也令人充滿成就感,但最終往往都會被另一種更加依賴計算、更具擴展性的方案所取代。
過去70年,這樣的事情一次又一次發生。 它發生在國際象棋上,也發生在計算機視覺和自然語言處理上。
甚至早在大語言模型出現之前,語言處理的發展軌跡就已經體現了這一規律。最早的方法建立在語言學規則之上,后來逐漸被語音統計模型、隱馬爾可夫模型(Hidden Markov Models)等方法取代;再后來,又進一步被依靠機器學習、大規模計算和互聯網海量數據訓練出來的模型全面超越。
當然,我必須強調一點。 “苦澀的教訓”并不是一條科學定律,它只是一個歷史規律。 歷史并不一定會重復。
但另一方面,在過去70年的AI研究中,它已經重復出現了太多次。因此,我們至少應該保持警覺:這一次,它會不會再次發生?
這也是我今天想和大家討論的問題 :對于今天的大語言模型,以及我們所說的基礎模型(Foundation Models)而言,“苦澀的教訓”是否依然成立?
02
大語言模型:“是,也不是”
剛才的問題是:“苦澀的教訓”是否同樣適用于今天的基礎模型?
為了回答這個問題,幾周前我在X(原Twitter)上用26個詞做了一個概括。
大意是:不要像過去那樣,把注意力放在人類已有知識上;而應該專注于那些能夠擴展(scale)的方式——專注于創造知識的方法,而不是利用已有知識的方法。只有依靠搜索和學習,AI才能真正實現持續擴展。
![]()
那么,這個觀點適用于今天的大語言模型嗎?適用于基礎模型嗎?我的答案是:是,也不是。
“是”的原因很簡單。大語言模型確實找到了一種能夠擴展計算規模的方法。它充分利用了今天的大規模計算資源,以及互聯網產生的海量數據。
從這個意義上說,大語言模型之所以能夠取得今天的成功,本身就是“苦澀的教訓”的一次勝利。它真正吸取了過去70年的經驗,選擇了一條能夠不斷擴展的道路。
這也是為什么,很多人認為,大語言模型正是“苦澀的教訓”最成功的體現。
但另一方面,答案也是“不是”。因為基礎模型和大語言模型的能力,歸根結底建立在人類知識之上。
人類知識,就是它們最大的超能力(superpower)。它們之所以如此強大,是因為吸收了互聯網上幾乎所有已經記錄下來的人類知識,以及海量的人類數據。然而,也正因為如此,它們很可能受到同一種限制。
![]()
今天,我傾向于說——很可能(likely)。從長遠來看,它們最終也可能會被另一種方法取代。原因并不是計算規模,而是它們完全依賴于已有的人類知識,而不是試圖創造新的知識。如果過去70年的歷史規律再次出現,那么未來真正推動AI下一次躍遷的,很可能不是更大的基礎模型,而是一種能夠自主創造知識的新方法。
因此,我認為,我們至少應該對這一點保持警覺。
03
基礎模型的本質:
它不是科學家,而是人類共識的容器
討論基礎模型的未來之前,我們必須先回答一個更基礎的問題:基礎模型(Foundation Model)到底是什么?
今天,“基礎模型”已經成了AI領域最流行的詞之一。大家似乎都知道它是什么,但實際上,它更像一個流行概念(buzzword)。
如果我們想討論它的未來,就不能只是引用斯坦福的定義,或者沿用別人給出的解釋。我們必須先弄清楚,它到底是什么。因為,對這個問題的回答,將決定我們對未來的判斷。
![]()
我的看法是:基礎模型,本質上是“人類已達成共識知識的容器”(containers of all agreed human knowledge)。
它們不是創造新知識的科學家。它們真正的目標,是成為一個能夠容納所有已達成共識的人類知識的容器。
請注意,我這里說的是:
已達成共識的人類知識(agreed human knowledge)
而不是:
所有知識(all knowledge)。
這是兩件完全不同的事情。如果基礎模型希望容納所有知識,那是不可能實現的。因為世界始終在變化,新的知識不斷誕生,沒有任何系統能夠提前擁有尚未出現的知識。基礎模型真正能夠做到的,是盡可能準確地容納已經被人類驗證、記錄,并形成共識的知識。
而把它當作“所有知識”的容器,則是一種不切實際的幻想。
04
大世界視角:
為什么世界永遠大于任何一個心智
如果說基礎模型只是人類已達成共識知識的容器,那么接下來,一個更根本的問題就出現了:為什么它不可能成為“所有知識”的容器?答案來自我所說的“大世界視角”(Big World Perspective)。
這個觀點其實很簡單。世界永遠比任何一個心智都更大,也更復雜。很多人理解智能時,腦海里的畫面大概是這樣的:有一個世界,也有一個心智,兩者大致相當。只要心智足夠強大,就能夠理解整個世界。但我認為,這個畫面從一開始就是錯的。
![]()
真正的情況更像是另一幅圖景:世界遠遠大于任何一個心智。而且,這種差距不是一點點,而是數量級上的差距。
原因很簡單:任何一個心智,都只是世界的一部分;而世界不僅包含自然,還包含無數其他心智。既然如此,沒有任何一個心智能夠完整理解整個世界。
![]()
這一點,其實每天都在發生。比如,我剛剛來到這里,面對在座的各位。我當然會試著建立一個關于你們的“模型”。因為我希望把我的想法傳遞給你們,所以你們在想什么、理解到了什么,對我來說都很重要。
但顯然,我不可能真正知道你們每個人此刻腦海里在想什么。這并不是因為我能力不夠。而是因為世界本身,就比任何一個心智更加復雜。這只是那個基本事實的一個具體例子。通用,不意味著無所不知這一點,也決定了我們應該如何理解“通用AI”。
任何一個真正具有通用性的基礎模型,都必須接受一個事實:
它只能停留在表層(superficial),而不可能擁有關于世界完整而深刻的知識。這聽上去像是一種妥協。但在我看來,這反而是一件非常美好的事情。因為它提醒我們保持謙遜,我們不會再幻想,有哪個系統能夠真正理解世界的一切。
與此同時,它也意味著另一件同樣重要的事情:沒有任何人、任何AI,能夠理解一切。因此,我們不必擔心未來會出現某種全知全能的超級心智——一種比你更了解你自己、比你更了解你的朋友的存在。這種擔憂,本身就是建立在一個錯誤的前提之上。
超級智能當然可能存在,但它同樣受到這個基本事實的約束。世界永遠比任何一個心智更大。這一點,對超級智能也同樣成立。它不會因為更聰明,就擺脫這種限制。
因此,從本質上說,我們和未來可能出現的超級智能,并沒有質的區別。它們會像我們一樣,在自己的生命過程中不斷學習,也會像我們一樣,只能逐漸成為自己所經歷、所接觸那一部分世界的專家。
沒有任何一個心智,可以成為整個世界的專家。
05
未來的AI:完整心智、
專用工具與“超級百科全書”
如果接受"大世界視角",那么我們也必須放棄另一種幻想:不存在一種能夠理解一切的AI。
這意味著,未來不會只有一種AI。恰恰相反,它會演化出不同的形態,承擔不同的角色。其中一種,也是我自己最感興趣的一種,是真正完整的AI心智。
![]()
我希望它能夠像人一樣體驗世界、學習、思考、創造、發明,甚至——如果你愿意這樣理解——擁有意識(consciousness)。它們會像我們一樣,在自己的生命過程中不斷學習,不斷成長,也會在自己所經歷的那部分世界中逐漸形成專長。
但它們不會是基礎模型。它們也不會無所不知。它們只是另一種完整的心智。與此同時,還會有另一類AI。
它們并不需要擁有完整的心智,而是專門服務于某個具體任務。例如自動駕駛汽車。它們有明確的目標,也有清晰的應用邊界,只需要把自己的工作做好,而不必理解整個世界。
而基礎模型,則處于這兩者之間。它不是一個人的AI,而是一種可以被無數人共同使用的AI。它真正承擔的角色,是成為當前人類已達成共識知識的準確存儲。這里,我想特別強調“準確(accurate)”這個詞。因為今天的大語言模型仍然會產生幻覺(hallucination),仍然會犯錯。很多時候,我們甚至期待它回答那些訓練數據之外的問題。
![]()
但這恰恰不是它真正應該承擔的使命。我認為,一個更值得追求的目標是:成為人類當前共識知識的準確代表。
如果能夠做到這一點,它們將發揮巨大的價值。它們會讓這些知識變得前所未有地容易獲取。而且,不同的人,都可以按照自己的理解能力,以最適合自己的方式獲得這些知識。從這個意義上說,未來的基礎模型,更像是一部真正意義上的“超級百科全書(Super Encyclopedia)”。
如果我們能夠實現這一點,那將是一項極其重要、也極具價值的成就。這,就是我所理解的基礎模型的未來。我希望大家能夠關注它,也擁抱這樣的未來——不是一個無所不知的超級大腦,而是一部準確、可靠、人人都能使用的“超級百科全書”。
一個人讀論文太孤單,一群人刷頂會才好玩。
RSS 2026召開在即,我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討,拒絕灌水。
進群傳送門:掃碼進群或添加微信Luyoyo_2026,備注:論文群 + 關注的 AI 方向。
搞科研/搞技術,信息差很重要。
來,一起快人一步!
上車,帶你看遍全球 AI 頂會精華
可獨家暢覽:
專家演講PPT
大會報告全文
熱門論文解讀
學術新星訪談
未經「AI科技評論」授權,嚴禁以任何方式在網頁、論壇、社區進行轉載!
公眾號轉載請先在「AI科技評論」后臺留言取得授權,轉載時需標注來源并插入本公眾號名片。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.