強化學習之父、年近七旬的Richard Sutton宣布創業，向LLM范式宣戰

就在今天，被稱為“強化學習之父”的 Richard Sutton 在社交平臺 X 上突然宣布，他與合作者 Khurram Javed 已經離開由傳奇游戲開發者 John Carmack 創辦的 AI 公司 Keen Technologies，共同創立了一家名為 Oak Lab 的新公司。這家注冊于加拿大的初創企業，目標是打造一種完全不同于當前大語言模型的 AI 系統——一個能夠從自身經驗中持續學習、實時進化的智能體。

在宣布消息的帖子中，Sutton 對 Carmack 和 Keen Technologies 表達了敬意，但明確表示 Oak Lab 將走一條不同的路。他寫道，當前的深度學習方法存在根本性的不足，需要的不是修補，而是全新理念的重構。

（來源：X）

現年 68 歲的 Richard Sutton，是加拿大阿爾伯塔大學計算機科學教授，在斯坦福大學獲得本科學位后，于馬薩諸塞大學阿默斯特分校師從 Andrew Barto 完成博士學業。他是時序差分學習的提出者，與 Barto 合著的《強化學習導論》是該領域最具影響力的教材。2025 年，二人共同獲得 ACM 圖靈獎，表彰他們在強化學習概念和算法基礎方面的開創性貢獻。此外，AlphaGo 的締造者 David Silver、強化學習領域重要學者 Doina Precup 等人都是他的學生。

為什么不走 LLM 路線？

Oak Lab 的創立動機，與 Sutton 在 2019 年發表的那篇著名文章——《苦澀的教訓》（The Bitter Lesson）有著深度關聯。

在這篇短文中，Sutton 回顧了 AI 研究 70 年的歷史，提出了一個核心觀察：那些試圖將人類領域知識內嵌到系統中的方法，最終總會被依賴大規模計算的通用方法所超越。無論是計算機象棋、語音識別還是計算機視覺，這條規律反復上演。真正有效的方法是搜索和學習，這是兩種能夠隨計算規模無限擴展的通用手段。

這篇文章在 AI 界引發了持久討論，許多從業者將其視為支持大語言模型規模化路線的理論依據。然而 Sutton 本人并不認同這種解讀。在 2025 年 9 月接受播客主持人 Dwarkesh Patel 的訪談時，他直言當前的大語言模型并沒有真正踐行《苦澀的教訓》的精神。他的核心論點是：大語言模型的學習來源是訓練數據，而不是經驗。將海量的人類文本灌入模型，本質上仍然是一種依賴人類知識的路徑，與他所批評的將領域知識手工編入系統的做法并無本質區別，只是規模更大。

圖｜Sutton 接受Dwarkesh Patel 訪談 （來源：Youtube）

Sutton 進一步指出，大語言模型擅長模仿人類的表達，但它們并不具備在運行過程中持續學習的能力。一個訓練完成的模型在部署之后就停止了學習，無法從與用戶的交互中獲取真正的新知識，也無法評估自身輸出的正確性。在他看來，真正的智能必須具備通過試錯產生新發現的能力。就像 AlphaZero 不再依賴人類棋譜、而是通過數百萬局自我對弈發明了全新的下法那樣。

2026 年 5 月，Sutton 在麻省理工學院發表 Dertouzos 杰出講座時更加直接地表示，作為一個龐大產業，AI 在一定程度上已經偏離了方向。

OaK 架構：從經驗中生長出智能

Oak Lab 的技術核心是 Sutton 提出的 OaK 架構，全稱為 Options and Knowledge（選項與知識），源自他與阿爾伯塔大學同事共同制定的長期研究路線圖“阿爾伯塔計劃”。

OaK 的設計建立在三條原則之上：智能體必須是通用的，啟動時不預設任何特定領域知識；所有知識都必須來自經驗，通過與環境的交互獲取；學習的驅動力是強化學習中的累積獎勵最大化。

在技術層面，OaK 圍繞兩個核心概念展開?！斑x項”（Options）是在時間上有所延伸的行為策略。不是簡單的下一步動作，而是一整套行為序列及其終止條件?！爸R”（Knowledge）則是智能體在執行不同選項過程中對世界的理解。智能體在運行過程中不斷創建新的選項、積累關于這些選項的知識，并利用內部構建的世界模型來預測行為的長期后果。

這套機制形成一個自我強化的循環：從經驗中提取特征，將有用的特征抽象為更高層次的表示，再用這些表示去構建更復雜的規劃能力。這個過程是開放式的，理論上只受限于可用的計算資源。

但 Sutton 也坦率地承認了技術瓶頸。當前深度學習系統在持續學習中面臨兩個根深蒂固的難題：一個是災難性遺忘，新學到的信息會覆蓋已有知識；另一個是可塑性喪失，系統在學習一段時間后逐漸失去繼續學習新事物的能力。他在多個場合表示，尚未解決這些核心問題，這也是他還無法展示大規模 OaK 系統實例的原因。他在 MIT 的講座上坦言，這仍然是一個愿景，但他相信這個愿景是可以實現的。

強化學習陣營的集結

Oak Lab 的創立其實也有一定的鋪墊。此前，Sutton 的學生，被稱為“AlphaGo 之父”的 David Silver 也已離開 DeepMind，于 2025 年底創立 Ineffable Intelligence，并在 2026 年 4 月獲得 11 億美元種子輪融資，估值 51 億美元。

圖｜David Silver（來源：Google Deepmind）

Ineffable 的路線與 Oak Lab 類似，同樣押注強化學習，同樣認為 AI 必須擺脫對人類數據的依賴，從自身經驗中發現知識。而 Sutton 和 Javed 此前所在的 Keen Technologies 也是一家信奉強化學習路線的公司。師生三方幾乎同時在這一方向上發力，共同向當前主流范式發起挑戰。

當然，這一立場也存在著一定的爭議。批評者指出，強化學習在圍棋、國際象棋等有明確勝負規則的封閉領域取得了出色成果，但在開放式的現實世界環境中，獎勵信號往往模糊不清，純粹的強化學習面臨巨大挑戰。此外，當前 AI 在推理和數學方面的許多進步恰恰來自將強化學習與大語言模型相結合的方法，兩條路線是否必須對立，仍是一個開放問題。

1.https://thelogic.co/briefing/ai-pioneer-richard-sutton-launches-startup-to-build-always-learning-agents/

2.https://digg.com/tech/5p0hdvmr

3.https://x.com/mark_k/status/2076667108688003127

4.https://en.wikipedia.org/wiki/Richard_S._Sutton

5.https://thetech.com/2026/05/28/sutton-rl-lecture

6.https://www.dwarkesh.com/p/richard-sutton

運營/排版：何晨龍

注：封面/首圖由 AI 輔助生成