北京
編輯｜澤南、山輝
年近 70 歲的圖靈獎得主、強化學習之父理查德?薩頓（Richard Sutton），宣布創業了。
本周一，Richard Sutton 宣布與 Khurram Javed 共同創立新公司 Oak Lab，要打破當前深度學習方式，用全新的理念構建 AGI。
Oak Lab 致力于開發能夠通過自身第一人稱經驗獨立、持續學習的 AI 智能體。這意味著 AI 不再依賴人類喂養的龐大數據集或靜態訓練，而是能像生物一樣，在與環境交互的運行過程中（Run-time）實時試錯、進化并自我完善。
之所以另辟蹊徑，是因為當前的大語言模型（LLM）的擴展可能存在天花板。Richard Sutton 指出，當前大模型主要依賴海量的靜態數據進行預訓練，它們非常擅長模仿人類，但無法評估自身的輸出結果，也不具備真正探索和發現的能力。
為此，Oak Lab 的核心方向就是推進薩頓提出的新架構OaK（Options and Knowledge，選項與知識）。Oak Lab 的終極目標是打造一個擁有萬億參數、并且能夠在僅 20 瓦極低能耗下進行實時學習和規劃的智能體，從而通過純粹的經驗累積通向超級智能（AGI）。
去年 8 月在 AGI-25 大會上，Richard Sutton 親自闡述 OaK 架構的設計理念以及他對于如何通過經驗實現超級智能的愿景。
作為《苦澀的教訓》（The Bitter Lesson）的作者，近年來 Richard Sutton 時常對大語言模型持批評態度，認為大模型 Scaling Laws 并未完全貫徹他的思想，這背后是頂尖學者對于 AI 路線的根本理念之爭。
Sutton 認為當前的大模型沒有真正貫徹「通用計算 + 自主經驗學習」的核心精神。真正的智能需要發現新知識，就像 AlphaGo 最初學習人類棋譜，但真正擊敗李世石并進化為 AlphaZero 的，是它通過強化學習在無數次自我對弈中探索出了人類從未見過的招法。Sutton 認為，AGI 必須具備通過試錯（Trial and Error）產生增量知識的能力，而不僅僅是咀嚼已有數據。
其實在今年 1 月，DeepMind 的 AlphaGo 之父、Sutton 的學生 David Silver 已經宣布創業，Silver 的理念與他的導師類似，也是希望通過強化學習讓 AI 學會通過與環境互動、自我博弈和純粹的經驗來生成新知識。
LLM 的本質是序列預測，它并不真正理解物理世界的因果關系。Sutton 提出的 OaK 架構追求的是運行時（Run-time）的持續學習。AI 應該像生物一樣，在與世界交互的每一秒都在更新自己的內部模型，而不是依賴人類定期喂給它的數據集。
它的核心是讓智能體建立關于環境的內部「世界模型」，并利用這些模型去預測自己行為的長期后果。這種基于選項（Options, 即在時間上延伸的動作）的長期規劃能力，是目前基于注意力機制的 Transformer 架構極難內生實現的。
Richard Sutton 目前擔任加拿大阿爾伯塔大學（University of Alberta）的計算機科學教授。他曾與安德魯?巴托 (Andrew Barto) 共同榮獲 2024 年 ACM 圖靈獎。作為現代強化學習的奠基者之一，數十年來始終圍繞「機器如何持續學習」展開研究。
自早期的時序差分學習和 Dyna 架構開始，他不斷嘗試減少學習對固定訓練流程和人工設定的依賴。
近年來，他與 Khurram Javed 密切合作，將注意力轉向在線學習中的穩定性與適應性問題。他們共同開展的 SwiftTD、Swift-Sarsa 等工作，嘗試讓系統自主調節學習速度，并從大量不斷變化的輸入中識別真正有用的信息。
如今，Oak Lab 可以被看做他將學術主張進一步推向實踐的大膽嘗試。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
