強化學(xué)習(xí)之父、年近七旬的Richard Sutton宣布創(chuàng)業(yè)，向LLM范式宣戰(zhàn)

就在今天，被稱為“強化學(xué)習(xí)之父”的 Richard Sutton 在社交平臺 X 上突然宣布，他與合作者 Khurram Javed 已經(jīng)離開由傳奇游戲開發(fā)者 John Carmack 創(chuàng)辦的 AI 公司 Keen Technologies，共同創(chuàng)立了一家名為 Oak Lab 的新公司。這家注冊于加拿大的初創(chuàng)企業(yè)，目標是打造一種完全不同于當前大語言模型的 AI 系統(tǒng)——一個能夠從自身經(jīng)驗中持續(xù)學(xué)習(xí)、實時進化的智能體。

在宣布消息的帖子中，Sutton 對 Carmack 和 Keen Technologies 表達了敬意，但明確表示 Oak Lab 將走一條不同的路。他寫道，當前的深度學(xué)習(xí)方法存在根本性的不足，需要的不是修補，而是全新理念的重構(gòu)。

（來源：X）

現(xiàn)年 68 歲的 Richard Sutton，是加拿大阿爾伯塔大學(xué)計算機科學(xué)教授，在斯坦福大學(xué)獲得本科學(xué)位后，于馬薩諸塞大學(xué)阿默斯特分校師從 Andrew Barto 完成博士學(xué)業(yè)。他是時序差分學(xué)習(xí)的提出者，與 Barto 合著的《強化學(xué)習(xí)導(dǎo)論》是該領(lǐng)域最具影響力的教材。2025 年，二人共同獲得 ACM 圖靈獎，表彰他們在強化學(xué)習(xí)概念和算法基礎(chǔ)方面的開創(chuàng)性貢獻。此外，AlphaGo 的締造者 David Silver、強化學(xué)習(xí)領(lǐng)域重要學(xué)者 Doina Precup 等人都是他的學(xué)生。

為什么不走 LLM 路線？

Oak Lab 的創(chuàng)立動機，與 Sutton 在 2019 年發(fā)表的那篇著名文章——《苦澀的教訓(xùn)》（The Bitter Lesson）有著深度關(guān)聯(lián)。

在這篇短文中，Sutton 回顧了 AI 研究 70 年的歷史，提出了一個核心觀察：那些試圖將人類領(lǐng)域知識內(nèi)嵌到系統(tǒng)中的方法，最終總會被依賴大規(guī)模計算的通用方法所超越。無論是計算機象棋、語音識別還是計算機視覺，這條規(guī)律反復(fù)上演。真正有效的方法是搜索和學(xué)習(xí)，這是兩種能夠隨計算規(guī)模無限擴展的通用手段。

這篇文章在 AI 界引發(fā)了持久討論，許多從業(yè)者將其視為支持大語言模型規(guī)模化路線的理論依據(jù)。然而 Sutton 本人并不認同這種解讀。在 2025 年 9 月接受播客主持人 Dwarkesh Patel 的訪談時，他直言當前的大語言模型并沒有真正踐行《苦澀的教訓(xùn)》的精神。他的核心論點是：大語言模型的學(xué)習(xí)來源是訓(xùn)練數(shù)據(jù)，而不是經(jīng)驗。將海量的人類文本灌入模型，本質(zhì)上仍然是一種依賴人類知識的路徑，與他所批評的將領(lǐng)域知識手工編入系統(tǒng)的做法并無本質(zhì)區(qū)別，只是規(guī)模更大。

圖｜Sutton 接受Dwarkesh Patel 訪談 （來源：Youtube）

Sutton 進一步指出，大語言模型擅長模仿人類的表達，但它們并不具備在運行過程中持續(xù)學(xué)習(xí)的能力。一個訓(xùn)練完成的模型在部署之后就停止了學(xué)習(xí)，無法從與用戶的交互中獲取真正的新知識，也無法評估自身輸出的正確性。在他看來，真正的智能必須具備通過試錯產(chǎn)生新發(fā)現(xiàn)的能力。就像 AlphaZero 不再依賴人類棋譜、而是通過數(shù)百萬局自我對弈發(fā)明了全新的下法那樣。

2026 年 5 月，Sutton 在麻省理工學(xué)院發(fā)表 Dertouzos 杰出講座時更加直接地表示，作為一個龐大產(chǎn)業(yè)，AI 在一定程度上已經(jīng)偏離了方向。

OaK 架構(gòu)：從經(jīng)驗中生長出智能

Oak Lab 的技術(shù)核心是 Sutton 提出的 OaK 架構(gòu)，全稱為 Options and Knowledge（選項與知識），源自他與阿爾伯塔大學(xué)同事共同制定的長期研究路線圖“阿爾伯塔計劃”。

OaK 的設(shè)計建立在三條原則之上：智能體必須是通用的，啟動時不預(yù)設(shè)任何特定領(lǐng)域知識；所有知識都必須來自經(jīng)驗，通過與環(huán)境的交互獲取；學(xué)習(xí)的驅(qū)動力是強化學(xué)習(xí)中的累積獎勵最大化。

在技術(shù)層面，OaK 圍繞兩個核心概念展開。“選項”（Options）是在時間上有所延伸的行為策略。不是簡單的下一步動作，而是一整套行為序列及其終止條件。“知識”（Knowledge）則是智能體在執(zhí)行不同選項過程中對世界的理解。智能體在運行過程中不斷創(chuàng)建新的選項、積累關(guān)于這些選項的知識，并利用內(nèi)部構(gòu)建的世界模型來預(yù)測行為的長期后果。

這套機制形成一個自我強化的循環(huán)：從經(jīng)驗中提取特征，將有用的特征抽象為更高層次的表示，再用這些表示去構(gòu)建更復(fù)雜的規(guī)劃能力。這個過程是開放式的，理論上只受限于可用的計算資源。

但 Sutton 也坦率地承認了技術(shù)瓶頸。當前深度學(xué)習(xí)系統(tǒng)在持續(xù)學(xué)習(xí)中面臨兩個根深蒂固的難題：一個是災(zāi)難性遺忘，新學(xué)到的信息會覆蓋已有知識；另一個是可塑性喪失，系統(tǒng)在學(xué)習(xí)一段時間后逐漸失去繼續(xù)學(xué)習(xí)新事物的能力。他在多個場合表示，尚未解決這些核心問題，這也是他還無法展示大規(guī)模 OaK 系統(tǒng)實例的原因。他在 MIT 的講座上坦言，這仍然是一個愿景，但他相信這個愿景是可以實現(xiàn)的。

強化學(xué)習(xí)陣營的集結(jié)

Oak Lab 的創(chuàng)立其實也有一定的鋪墊。此前，Sutton 的學(xué)生，被稱為“AlphaGo 之父”的 David Silver 也已離開 DeepMind，于 2025 年底創(chuàng)立 Ineffable Intelligence，并在 2026 年 4 月獲得 11 億美元種子輪融資，估值 51 億美元。

圖｜David Silver（來源：Google Deepmind）

Ineffable 的路線與 Oak Lab 類似，同樣押注強化學(xué)習(xí)，同樣認為 AI 必須擺脫對人類數(shù)據(jù)的依賴，從自身經(jīng)驗中發(fā)現(xiàn)知識。而 Sutton 和 Javed 此前所在的 Keen Technologies 也是一家信奉強化學(xué)習(xí)路線的公司。師生三方幾乎同時在這一方向上發(fā)力，共同向當前主流范式發(fā)起挑戰(zhàn)。

當然，這一立場也存在著一定的爭議。批評者指出，強化學(xué)習(xí)在圍棋、國際象棋等有明確勝負規(guī)則的封閉領(lǐng)域取得了出色成果，但在開放式的現(xiàn)實世界環(huán)境中，獎勵信號往往模糊不清，純粹的強化學(xué)習(xí)面臨巨大挑戰(zhàn)。此外，當前 AI 在推理和數(shù)學(xué)方面的許多進步恰恰來自將強化學(xué)習(xí)與大語言模型相結(jié)合的方法，兩條路線是否必須對立，仍是一個開放問題。

1.https://thelogic.co/briefing/ai-pioneer-richard-sutton-launches-startup-to-build-always-learning-agents/

2.https://digg.com/tech/5p0hdvmr

3.https://x.com/mark_k/status/2076667108688003127

4.https://en.wikipedia.org/wiki/Richard_S._Sutton

5.https://thetech.com/2026/05/28/sutton-rl-lecture

6.https://www.dwarkesh.com/p/richard-sutton

運營/排版：何晨龍

注：封面/首圖由 AI 輔助生成