ICML 2026 時(shí)間檢驗(yàn)獎(jiǎng)現(xiàn)場(chǎng)實(shí)況：主創(chuàng)戳破學(xué)術(shù)創(chuàng)新三大真相

最小的創(chuàng)新，最大的影響：ICML 2026時(shí)間檢驗(yàn)獎(jiǎng)里的“反共識(shí)”與“苦澀教訓(xùn)”

作者丨齊鋮湧

編輯丨岑 峰

7月8日下午一點(diǎn)， ICML 2026 時(shí)間檢驗(yàn)獎(jiǎng)?lì)C獎(jiǎng)儀式在首爾舉行。

由 Google DeepMind 團(tuán)隊(duì)于 2016 年發(fā)表在 ICML 的《Asynchronous Methods for Deep Reinforcement Learning》獲獎(jiǎng)，這篇巨作的一作 Volodymyr Mnih （業(yè)內(nèi)常稱 Vlad）親臨現(xiàn)場(chǎng)領(lǐng)獎(jiǎng)，并發(fā)表深刻言論。

AI科技評(píng)論，在 ICML 2026 首爾會(huì)場(chǎng)親歷了這場(chǎng)演講（文末附上演講內(nèi)容），Vlad 的獲獎(jiǎng)發(fā)言，沒有停留在回顧10年前的工作，反而用大量篇幅復(fù)盤了研究背后的思考與局限，給當(dāng)前學(xué)者研究哲學(xué)與行業(yè)判斷的啟發(fā)。

01

Vlad 獲獎(jiǎng)現(xiàn)場(chǎng)重點(diǎn)強(qiáng)調(diào)的三點(diǎn)感悟

Vlad 在現(xiàn)場(chǎng)提到的第一點(diǎn)，是“約束，永遠(yuǎn)是創(chuàng)新的第一驅(qū)動(dòng)力”。

他在發(fā)言中直言不諱：“如果當(dāng)時(shí)我們有充足的 GPU，大概率根本不會(huì)做這項(xiàng)工作。”

這項(xiàng)改寫領(lǐng)域的研究，并非源于宏大規(guī)劃，而是來自現(xiàn)實(shí)的算力約束：DeepMind 接入谷歌初期，數(shù)據(jù)中心尚無 GPU，只有大量多核 CPU。正是 “無 GPU 可用” 的限制，倒逼團(tuán)隊(duì)跳出 DQN 路線，探索出異步并行方案，意外推開了深度 RL 規(guī)模化的大門。

Vlad 在 ICML 2026 現(xiàn)場(chǎng)的這段回顧，似乎在影射當(dāng)下具身和大模型的行業(yè)現(xiàn)狀。

Vlad 提到的第二點(diǎn)感悟，是“最持久的影響，往往來自 “最小創(chuàng)新””。

他在發(fā)言中引用 Ilya Sutskever 的評(píng)價(jià)總結(jié)這篇工作：“最小的創(chuàng)新，最大的影響。”

看似自謙，但客觀來看，A3C 論文中確實(shí)并沒有石破天驚的全新理論：異步并行、演員 - 評(píng)論家、多步回報(bào)、熵正則，每一個(gè)組件都是此前就已存在的思路。

論文真正做的，是把這些已知想法組合起來，用極其扎實(shí)的對(duì)比實(shí)驗(yàn)驗(yàn)證了效果，打磨每一個(gè)實(shí)現(xiàn)細(xì)節(jié)。

這也能給當(dāng)前 AI 研究一些啟發(fā)，當(dāng)下“創(chuàng)新焦慮” 彌漫在整個(gè)學(xué)術(shù)領(lǐng)域。本屆ICML創(chuàng)下了歷史性的投稿紀(jì)錄，共收到 23918 篇有效投稿，較2025年的 12107 篇翻了一倍。很多論文追求復(fù)雜的架構(gòu)設(shè)計(jì)、花哨的數(shù)學(xué)包裝。

但時(shí)間是最公正的篩選器 。

十年過去，真正被全行業(yè)廣泛使用、沉淀為基礎(chǔ)設(shè)施的，往往是那些簡(jiǎn)單、穩(wěn)定、易復(fù)現(xiàn)的基礎(chǔ)方法。

A3C 之所以能成為長(zhǎng)盛不衰的基準(zhǔn)，核心就在于 “簡(jiǎn)單” 二字。

它好理解、好調(diào)試、超參數(shù)少、復(fù)現(xiàn)成本低，這種特性讓它既能成為研究的起點(diǎn)，也能成為工程落地的首選。

最終勝出的，永遠(yuǎn)是能更好利用算力的方法。

第三點(diǎn)，是規(guī)模化相關(guān)內(nèi)容。Vlad 在發(fā)言中提到一個(gè)細(xì)節(jié)：當(dāng)年的實(shí)驗(yàn)結(jié)果已經(jīng)清晰展現(xiàn)出 “算力增加、收益穩(wěn)定提升” 的規(guī)律，但身處其中的他們，當(dāng)時(shí)并未完全意識(shí)到這件事的分量。直到后來 Rich Sutton 提出著名的 “苦澀的教訓(xùn)”，你看，最終贏得勝利的，永遠(yuǎn)是那些能充分利用數(shù)據(jù)和算力的方法 ，人們才回頭發(fā)現(xiàn)，A3C 正是這個(gè)規(guī)律在強(qiáng)化學(xué)習(xí)領(lǐng)域的早期注腳。

但他同時(shí)坦誠了 A3C 的局限：它能很好地隨算力擴(kuò)展，卻無法很好地隨模型尺寸擴(kuò)展。這個(gè)問題最終由后續(xù)的 IMPALA 論文解決。

但這個(gè)判斷對(duì)當(dāng)下的行業(yè)極具參考意義。今天所有人都在談?wù)?scaling law，但并不是所有方法都能真正高效使用算力。很多精巧的算法設(shè)計(jì)，規(guī)模一大就失效；很多復(fù)雜的架構(gòu)創(chuàng)新，數(shù)據(jù)量上來后反而被簡(jiǎn)單方法反超。

今天的具身智能正站在和十年前深度 RL 相似的路口：什么樣的算法范式，能真正隨著機(jī)器人數(shù)量、數(shù)據(jù)規(guī)模、模型參數(shù)量同步提升？我們一起來看完整版的獲獎(jiǎng)發(fā)言：

02

ICML 2026 時(shí)間檢驗(yàn)獎(jiǎng)一作 Vlad 現(xiàn)場(chǎng)發(fā)言

謝謝主持人，也謝謝 ICML 委員會(huì)把這份沉甸甸的榮譽(yù)頒給我們。站在這里說實(shí)話心里特別感慨 —— 能和往屆所有拿到時(shí)間檢驗(yàn)獎(jiǎng)的優(yōu)秀工作并列，對(duì)我和所有合著者來說，都是莫大的榮幸。

今天到場(chǎng)的只有我一個(gè)人，很遺憾我的同事們沒法都來到現(xiàn)場(chǎng)。不過 Adria 稍后會(huì)在線上和我一起完成這次分享。我們想和大家聊聊這篇論文背后的故事，簡(jiǎn)單回顧一下這項(xiàng)工作本身，也聊聊十年過去，我們回頭看的時(shí)候，對(duì)它的影響、它的局限，都有哪些新的思考。

既然是十年前的工作，咱們不妨先把時(shí)鐘撥回 2015 年 —— 那時(shí)候論文還沒發(fā)表，絕大部分工作都是在那一年做完的。

現(xiàn)在的朋友可能很難想象 2015 年的強(qiáng)化學(xué)習(xí)圈是什么樣子。那時(shí)候深度 RL 的熱潮才剛剛冒頭，DQN、TRPO 這些早期工作出來之后，大家終于開始對(duì) “神經(jīng)網(wǎng)絡(luò) + 強(qiáng)化學(xué)習(xí)” 這件事有了期待，但整個(gè)領(lǐng)域還遠(yuǎn)沒到爆發(fā)的地步。更有意思的是，那時(shí)候機(jī)器學(xué)習(xí)圈的領(lǐng)域隔閡特別深：做強(qiáng)化學(xué)習(xí)的和做深度學(xué)習(xí)的，幾乎是兩個(gè)各玩各的圈子。

RL 這邊的人，一直對(duì)非線性函數(shù)近似心里打鼓，總覺得把神經(jīng)網(wǎng)絡(luò)塞進(jìn)來，理論和實(shí)操上都藏著不少坑；而深度學(xué)習(xí)那邊的很多人，覺得 RL 就是個(gè)小眾玄學(xué) —— 可能課上學(xué)過一嘴，但根本算不上什么通用工具，甚至不少人篤定這東西就不怎么能用。說句玩笑話，就在做這項(xiàng)工作的幾年前，我找博士導(dǎo)師的時(shí)候，還有好幾位老師勸我：別碰強(qiáng)化學(xué)習(xí)，沒前途。

一直到阿爾伯塔大學(xué)放出了街機(jī)學(xué)習(xí)環(huán)境 ALE，把經(jīng)典雅達(dá)利游戲做成了 RL 的標(biāo)準(zhǔn)測(cè)試環(huán)境，整個(gè)領(lǐng)域才算有了個(gè)像樣的基準(zhǔn)。比起之前那些精心設(shè)計(jì)的玩具問題，這當(dāng)然是一大步，但問題也跟著來了：算力需求一下就上去了。

所以 2016 年這篇論文剛出來的時(shí)候，很多人都挺意外的 —— 因?yàn)檫@篇文章一半的作者，當(dāng)年也都在 DQN 的作者列表里。DQN 走的是 Q 學(xué)習(xí)的路線，而我們這篇工作，幾乎是徹底換了條賽道，用的大多都是現(xiàn)成的方法。

很多人問過我們，好好的 DQN 路線不走，為什么要另起爐灶？其實(shí)說穿了就兩個(gè)原因：一個(gè)是被逼的，一個(gè)是好奇。

先說被逼的那個(gè)。DQN 出來之后，我們本來也想在它基礎(chǔ)上接著做，想去探索更復(fù)雜的環(huán)境，還有情景記憶、內(nèi)在動(dòng)機(jī)這些新方向。但現(xiàn)實(shí)很骨感：那時(shí)候 DQN 單跑一款游戲，單張 GPU 就得訓(xùn)整整一周。

更巧的是，那時(shí)候 DeepMind 剛切換到谷歌的算力體系。大家可能想不到，當(dāng)年谷歌內(nèi)部的數(shù)據(jù)中心，根本還沒部署 GPU。我們手里有的，是一整個(gè)數(shù)據(jù)中心的多核 CPU 服務(wù)器。靠現(xiàn)有的硬件，我們根本沒法按 DQN 的節(jié)奏做研究。

但反過來想，CPU 多也是優(yōu)勢(shì)啊。我們很快發(fā)現(xiàn)，只要能接受單機(jī)運(yùn)行、接受任務(wù)時(shí)不時(shí)被系統(tǒng)搶占重啟，其實(shí)能同時(shí)跑非常多訓(xùn)練任務(wù)。現(xiàn)在回頭看，恰恰是這個(gè) “沒有 GPU 可用” 的限制，把我們逼上了一條新路。

第二個(gè)原因，就是純粹的好奇心。當(dāng)年做 DQN 的時(shí)候，DeepMind 整個(gè)研究團(tuán)隊(duì)加起來也就二十多張 GPU，我們根本沒機(jī)會(huì)把 RL 算法的各種可能性都試一遍。從 Q 學(xué)習(xí)起步，跑通了就已經(jīng)很開心了，同策略、異策略，基于價(jià)值、基于策略，這些路線到底孰優(yōu)孰劣，我們其實(shí)沒來得及系統(tǒng)地摸一遍。現(xiàn)在有了更多算力，正好能把當(dāng)年沒做完的功課補(bǔ)上。

抱著這樣的想法，我們做了這套異步并行的強(qiáng)化學(xué)習(xí)訓(xùn)練框架。

思路其實(shí)很樸素：我們開 K 個(gè)獨(dú)立的 “演員 - 學(xué)習(xí)者”，每個(gè)跑在一個(gè) CPU 線程里，各自有一份本地的模型權(quán)重，各自和一份獨(dú)立的環(huán)境交互 —— 比如各自跑一局雅達(dá)利游戲。它們自己生成經(jīng)驗(yàn)，自己算梯度，然后定期把更新同步到一個(gè)全局共享的權(quán)重上。

最關(guān)鍵的設(shè)計(jì)是：所有這些更新，我們都不加讀寫鎖。這就是大家常說的 Hogwild 無鎖學(xué)習(xí)的思路 —— 巧的是，這項(xiàng)工作后來也拿了 NeurIPS 的時(shí)間檢驗(yàn)獎(jiǎng)。這么做的好處很直接：最大化訓(xùn)練的吞吐量，同時(shí)又不會(huì)真的影響算法收斂。

整個(gè)框架簡(jiǎn)單到什么程度？我們那時(shí)候用 Lua 寫一個(gè)最基礎(chǔ)的并行 Q 學(xué)習(xí)智能體，也就一百行左右的代碼，上手特別快。

在這個(gè)框架里，我們系統(tǒng)測(cè)了四種經(jīng)典的 RL 算法：?jiǎn)尾?Q 學(xué)習(xí)、SARSA、多步 Q 學(xué)習(xí)，還有優(yōu)勢(shì)演員 - 評(píng)論家算法，前三個(gè)基本都是拿來即用的現(xiàn)成方法。我們把它們和 DQN 放在多款雅達(dá)利游戲里對(duì)標(biāo)，結(jié)果說實(shí)話，我們自己都有點(diǎn)意外：所有異步方法的效果，都好得出奇。

這些結(jié)果里有兩點(diǎn)特別重要。第一，所有異步方法的學(xué)習(xí)速度，要么和 GPU 上的 DQN 持平，要么直接大幅超過。第二，也是更關(guān)鍵的一點(diǎn)：它把研究的迭代周期，從 “單 GPU 訓(xùn)一周”，直接壓縮到了 “多核 CPU 一天出結(jié)果”。

這件事的影響不止于我們自己。那之后 DeepMind 內(nèi)部很多項(xiàng)目都用上了這套框架，大家能更快迭代、同時(shí)跑更多實(shí)驗(yàn)，探索了很多新方向。而對(duì)整個(gè)領(lǐng)域來說，它相當(dāng)于把深度 RL 的門檻直接拉了下來 —— 哪怕是沒有 GPU 資源的實(shí)驗(yàn)室，也能做出有意義的強(qiáng)化學(xué)習(xí)研究了。

當(dāng)然，細(xì)看結(jié)果也能發(fā)現(xiàn)，四種方法里有一個(gè)始終表現(xiàn)最好，一騎絕塵。關(guān)于這個(gè)方法，我想請(qǐng)我的同事 Adria 來和大家好好講講。

03

Adria 線上分享環(huán)節(jié)

謝謝 Vlad。

相信大家從剛才的實(shí)驗(yàn)結(jié)果里也看出來了，四種算法里始終有一個(gè)表現(xiàn)穩(wěn)壓其他幾個(gè)一頭 —— 也正是因?yàn)樗芏嗳颂崞疬@篇工作，第一反應(yīng)都是 “A3C 論文”。它就是我們今天要重點(diǎn)聊的：優(yōu)勢(shì)演員 - 評(píng)論家算法，也就是 A2C。

先給大家捋捋它的基本邏輯。我們還是從最經(jīng)典的演員 - 評(píng)論家框架說起：同一個(gè)模型、同一套權(quán)重，輸入當(dāng)前的環(huán)境狀態(tài)，會(huì)同時(shí)輸出兩個(gè)東西：一個(gè)是策略，告訴智能體該選什么動(dòng)作；另一個(gè)是價(jià)值函數(shù)，用來預(yù)估從這個(gè)狀態(tài)開始，未來能拿到多少獎(jiǎng)勵(lì)的總和。演員照著策略去和環(huán)境交互，一步步收集狀態(tài)轉(zhuǎn)移的數(shù)據(jù)；拿到這些數(shù)據(jù)之后，A2C 核心做三件事。

第一件就是優(yōu)勢(shì)估計(jì)。什么是優(yōu)勢(shì)？簡(jiǎn)單說就是衡量一個(gè)動(dòng)作，比 “這個(gè)狀態(tài)下的平均水平” 好多少、差多少。 最樸素的做法是單步估計(jì)：做完當(dāng)前這步動(dòng)作，拿到即時(shí)獎(jiǎng)勵(lì)，再加上下一步的折扣價(jià)值，合起來估算未來總獎(jiǎng)勵(lì)，再和當(dāng)前狀態(tài)的價(jià)值做差，就是優(yōu)勢(shì)。這個(gè)思路還可以延伸到多步：把接下來 k 步的真實(shí)獎(jiǎng)勵(lì)都加起來，k 步之后的部分再用價(jià)值函數(shù)估算，最后再和當(dāng)前價(jià)值對(duì)比。它和廣義優(yōu)勢(shì)估計(jì)的思路很像，區(qū)別是我們?cè)诘?k 步做了顯式的自舉。

這里其實(shí)就是一個(gè)經(jīng)典的取舍問題：k 步設(shè)得越大，用到的真實(shí)獎(jiǎng)勵(lì)越多，噪聲也就越大，方差高；k 步設(shè)得越小，越依賴價(jià)值函數(shù)的估計(jì)值，偏差就越高。我們最后選了混合步長(zhǎng)的做法，原因其實(shí)很實(shí)在：一來實(shí)現(xiàn)起來特別方便，每走固定步數(shù)就做一次更新，代碼寫起來很順暢；二來混合步長(zhǎng)也能讓模型對(duì)不同的偏差 - 方差場(chǎng)景更魯棒，不會(huì)在某一類環(huán)境里容易崩。

第二件事是評(píng)論家更新。

說白了就是讓價(jià)值函數(shù)估得越來越準(zhǔn)：我們最小化優(yōu)勢(shì)值，也就是時(shí)序差分誤差，來迭代評(píng)論家的權(quán)重。評(píng)論家的目標(biāo)很純粹：不管什么狀態(tài)，都能盡量準(zhǔn)確地預(yù)測(cè)出未來的期望回報(bào)。

第三件事是演員更新。演員照著評(píng)論家給的反饋，用策略梯度損失和算出來的優(yōu)勢(shì)值，去優(yōu)化自己的策略權(quán)重。這里我必須著重提一個(gè)細(xì)節(jié)：我們?cè)趽p失里加了熵正則項(xiàng)。 這個(gè)項(xiàng)的作用，就是鼓勵(lì)策略保持一定的隨機(jī)性，別太早收斂成一個(gè)死板的確定性策略。很多時(shí)候智能體訓(xùn)著訓(xùn)著就 “躺平” 了，早早卡在一個(gè)不怎么樣的策略里不再探索，就是缺了這一環(huán)。別小看這么一個(gè)小小的改動(dòng)，之前不少工作也提過類似的思路，但我們?cè)诖笠?guī)模實(shí)驗(yàn)里實(shí)打?qū)嶒?yàn)證過：有沒有熵正則，最終效果差距非常明顯，這是一個(gè)絕對(duì)不能省的實(shí)現(xiàn)細(xì)節(jié)。

說到這兒，也想和大家總結(jié)下 A2C 最核心的幾個(gè)特質(zhì)。 第一就是效果穩(wěn)。我們測(cè)試了大量環(huán)境，它幾乎都能交出不錯(cuò)的成績(jī)。也正因?yàn)檫@樣，我們后來很順利地把它從雅達(dá)利這種簡(jiǎn)單的 2D 畫面，遷移到了迷宮、賽車這類更復(fù)雜的 3D 視覺環(huán)境里，效果依然能打。 第二，也是我個(gè)人覺得最核心的優(yōu)點(diǎn)：簡(jiǎn)單。整個(gè)算法拆到底，就是演員和評(píng)論家兩個(gè)清晰的公式，邏輯直白，好理解，也好調(diào)試。

也常有人問我，為什么這篇看起來不那么 “玄乎” 的工作，能有這么長(zhǎng)久的影響力？我們自己總結(jié)，核心就是兩點(diǎn)：一是足夠簡(jiǎn)單，二是它第一次實(shí)實(shí)在在證明了，同策略、不帶經(jīng)驗(yàn)回放的算法，完全可以規(guī)模化跑起來。

簡(jiǎn)單帶來的好處是直接的：它復(fù)現(xiàn)成本極低。對(duì)比一下就知道，DQN 有一整頁的超參數(shù)要慢慢調(diào)，而 A3C 的超參數(shù)少得多，不管是工程實(shí)現(xiàn)還是科研入門，門檻都很低。也正因?yàn)檫@樣，它很快就成了演員 - 評(píng)論家方法的事實(shí)基準(zhǔn)，不光催生了大量開源實(shí)現(xiàn)，在當(dāng)時(shí) DeepMind 內(nèi)部也成了標(biāo)配工具。

更重要的是，它成了后續(xù)大量研究的起點(diǎn)。往規(guī)模化的方向走，A3C 證明了強(qiáng)化學(xué)習(xí)天然就能吃算力、吃數(shù)據(jù)，它的訓(xùn)練邏輯和常規(guī)深度學(xué)習(xí)范式更貼合，也為后來的 IMPALA、APEX、AlphaStar 這些大規(guī)模系統(tǒng)鋪好了路。往算法優(yōu)化的方向走，V-trace、Retrace 這類策略修正方法，還有后來大家都很熟悉的 PPO，或多或少都受了它的啟發(fā)。除此之外，大家后來探索的輔助任務(wù)、記憶模塊這些方向，也大多是在這套穩(wěn)定的基線上做延伸。

可以說，A3C 提供了一個(gè)足夠穩(wěn)定、足夠能打的基線，成了之后幾乎所有深度 RL 研究繞不開的對(duì)標(biāo)起點(diǎn)。

大概就是這些。接下來還是交還給 Vlad，和大家聊聊十年回頭看，我們對(duì)這項(xiàng)工作的反思和感悟。

04

Vlad 總結(jié)反思和感悟：

謝謝 Adria。

聊了這么多這項(xiàng)工作的亮點(diǎn)和影響，我覺得咱們也得聊聊另一面 —— 十年過去，這篇論文里哪些東西，其實(shí)沒能經(jīng)住時(shí)間的考驗(yàn)。

大家都知道 A3C 隨算力增長(zhǎng)的擴(kuò)展性很好，但我們后來慢慢發(fā)現(xiàn)，它隨模型尺寸變大的擴(kuò)展性，其實(shí)并不理想。我記得當(dāng)年 Andrej Karpathy 還發(fā)過一條推特說過這個(gè)現(xiàn)象 —— 其實(shí)這不只是 A3C 或者異步方法的問題，那些年卷積神經(jīng)網(wǎng)絡(luò)的所有進(jìn)展，殘差網(wǎng)絡(luò)也好，批歸一化也好，放到強(qiáng)化學(xué)習(xí)里好像都不太靈。當(dāng)時(shí)這事兒挺讓整個(gè)領(lǐng)域困惑的。

而我們的異步框架設(shè)計(jì)，其實(shí)還放大了這個(gè)問題。

模型越大，生成經(jīng)驗(yàn)、計(jì)算梯度的時(shí)間就越長(zhǎng)。等梯度算完、再更新到全局權(quán)重上的時(shí)候，這份梯度早就 “過期” 了。過期的梯度很雞肋：扔了吧，前面生成的經(jīng)驗(yàn)都白費(fèi)了；用了吧，對(duì)模型的幫助也很有限。

這個(gè)問題，后來是被 IMPALA 論文很優(yōu)雅地解決了。它的結(jié)論很清晰：異步并行收集經(jīng)驗(yàn)這個(gè)思路完全沒問題，但別傳梯度，傳經(jīng)驗(yàn)數(shù)據(jù)本身就好。當(dāng)然，經(jīng)驗(yàn)傳到中心學(xué)習(xí)者的時(shí)候，對(duì)應(yīng)的還是舊策略，依然有 “過期” 的問題，但 IMPALA 證明，用重要性采樣做異策略修正，就能很好地解決這件事。

可以說，IMPALA 真正解鎖了深度 RL 的大模型時(shí)代。從那之后，強(qiáng)化學(xué)習(xí)才終于能同時(shí)在算力和模型規(guī)模兩個(gè)維度上一起擴(kuò)展。

最后，想和大家分享幾個(gè)我這十年回頭看，最深的感觸。

第一個(gè)就是：約束，往往才是創(chuàng)新的真正驅(qū)動(dòng)力。說句實(shí)在話，如果當(dāng)年我們手里有充足的 GPU，我們大概率根本不會(huì)去做這項(xiàng)工作。正是資源的限制，逼著我們跳出了熟悉的路徑，反而走出了一條更寬的路。

第二個(gè)感觸，就是 “簡(jiǎn)單” 的價(jià)值。就像 Adria 剛才說的，很多時(shí)候，那些經(jīng)過扎實(shí)驗(yàn)證的微小改進(jìn)，反而能產(chǎn)生最長(zhǎng)遠(yuǎn)的影響。

說實(shí)話，這篇論文里真的沒有什么石破天驚的全新理論。它本質(zhì)上就是把很多已有的想法組合在了一起，然后做了非常扎實(shí)、非常系統(tǒng)的實(shí)驗(yàn)驗(yàn)證。但就是這樣一項(xiàng)工作，產(chǎn)生了這么持久的影響力。我記得 Ilya Sutskever 說過一句話，我覺得特別適合用來形容它：用最小的創(chuàng)新，實(shí)現(xiàn)最大的影響。

但恰恰是這種簡(jiǎn)單，讓更多人相信了強(qiáng)化學(xué)習(xí)是可行的，相信神經(jīng)網(wǎng)絡(luò)加 RL，并不是什么可怕的玄學(xué)。

最后一點(diǎn)感觸，是關(guān)于規(guī)模化的。現(xiàn)在回頭看當(dāng)年的實(shí)驗(yàn)曲線，其實(shí)結(jié)果已經(jīng)寫得明明白白：算力加得越多，效果提升就越穩(wěn)定、越可預(yù)測(cè)。但說實(shí)話，我們身在其中的時(shí)候，反而沒有完全意識(shí)到這件事的分量。

直到后來 Rich Sutton 提出了那個(gè)著名的 “苦澀的教訓(xùn)”—— 最終能贏得勝利的，永遠(yuǎn)是那些能充分利用數(shù)據(jù)和算力的學(xué)習(xí)方法。我們回頭再看，才發(fā)現(xiàn) A3C 其實(shí)就是這個(gè)規(guī)律，在強(qiáng)化學(xué)習(xí)領(lǐng)域最早的注腳之一。

十年時(shí)間過得很快，很多東西都變了，但強(qiáng)化學(xué)習(xí)最本質(zhì)的邏輯一直沒變。今天能拿到這個(gè)獎(jiǎng)，對(duì)我們來說是肯定，更是提醒 —— 提醒我們做研究最樸素的那些道理。

我的分享就到這里，謝謝大家。

05

站在 2026 年，

為什么我們依然需要重讀 A3C

十年過去，深度強(qiáng)化學(xué)習(xí)早已走出雅達(dá)利游戲的玩具環(huán)境，深度融入大語言模型對(duì)齊、具身智能、自動(dòng)駕駛、工業(yè)控制等真實(shí)產(chǎn)業(yè)場(chǎng)景。但 2016 年的這篇論文，非但沒有隨著技術(shù)迭代而過時(shí)，反而愈發(fā)顯現(xiàn)出其基石般的價(jià)值。

它首先是大規(guī)模強(qiáng)化學(xué)習(xí)的范式源頭。今天大模型 RLHF 的分布式訓(xùn)練、具身智能中的多機(jī)器人并行數(shù)據(jù)采集、自動(dòng)駕駛的仿真并行訓(xùn)練.

如今成為 RLHF 標(biāo)配的 PPO 算法，其演員 - 評(píng)論家框架、優(yōu)勢(shì)估計(jì)、熵正則等核心組件，都早在 A3C 中被系統(tǒng)驗(yàn)證與普及。可以說，當(dāng)代幾乎所有大規(guī)模強(qiáng)化學(xué)習(xí)的落地應(yīng)用，都站在這篇論文的肩膀上。

更深層的價(jià)值，在于它提供了對(duì)抗學(xué)術(shù)浮躁的參照系。

它告訴所有后來的研究者：好的研究不一定需要顛覆性的理論，把已知的道理做對(duì)、做實(shí)、做透，同樣可以產(chǎn)生深遠(yuǎn)的行業(yè)影響。

今天的具身智能，面臨著和十年前深度 RL 高度相似的處境：環(huán)境復(fù)雜度高、研發(fā)成本昂貴、技術(shù)路線分散，所有人都在摸索下一個(gè)突破口。A3C 更像是一份穿越十年的行動(dòng)指南：

不要被現(xiàn)有資源束縛，約束中往往藏著最優(yōu)解；

先把簡(jiǎn)單的基線做扎實(shí)，再談復(fù)雜創(chuàng)新；

優(yōu)先選擇那些天然能隨數(shù)據(jù)和算力擴(kuò)展的方法。

從雅達(dá)利像素到真實(shí)物理世界，應(yīng)用場(chǎng)景變了，但強(qiáng)化學(xué)習(xí)的底層邏輯從未改變，那些簡(jiǎn)單、穩(wěn)定、解決真問題、可規(guī)模化的方法，最終會(huì)走得最遠(yuǎn)。

十年一輪回，ICML 把時(shí)間檢驗(yàn)獎(jiǎng)?lì)C給 A3C，既是對(duì)一項(xiàng)經(jīng)典技術(shù)工作的致敬，也是對(duì)一種長(zhǎng)期主義研究哲學(xué)的肯定。在所有人都急于追逐下一個(gè)顛覆性創(chuàng)新的今天，回頭重讀這篇十年前的論文或許會(huì)發(fā)現(xiàn)：

真正能穿越技術(shù)周期的，從來不是一時(shí)的熱度與花哨的概念，而是那些尊重基本規(guī)律、解決真實(shí)問題的簡(jiǎn)單力量。

完整版視頻如下：

一個(gè)人讀論文太孤單，一群人刷頂會(huì)才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內(nèi)主打實(shí)時(shí)論文跟蹤與硬核技術(shù)探討，拒絕灌水。

進(jìn)群傳送門：掃碼進(jìn)群或添加微信Vin_Vivid，備注：論文群 + 關(guān)注的 AI 方向。

搞科研/搞技術(shù)，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會(huì)精華

可獨(dú)家暢覽：

專家演講PPT

大會(huì)報(bào)告全文

熱門論文解讀

學(xué)術(shù)新星訪談

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號(hào)名片。