跑得最快的人卻喊著要剎車？Anthropic 呼吁全球中止 AI 研究，網友：你自己為啥不先停

作者 | 四月

當“AI 造 AI”的時代，從理論推演成為工程現實，我們人類將走向何處？該如何剎車？

今天，Anthropic 發布了一篇長文博客《When AI builds itself》，正式把一個過去只存在于科幻小說里的技術概念推到了臺前：遞歸自我改進，Recursive Self-Improvement，縮寫 RSI。

說得通俗一點，就是 AI 不只是幫人類寫代碼、跑實驗、做研究，而是開始參與構建下一代 AI。今天是 Claude 幫 Anthropic 寫代碼、調系統、做實驗；再往后，就是Claude 開始幫 Anthropic 構建出更強的 Claude。

這也是文章最為核心、也最讓人焦慮不安的判斷：AI 的進化速度，不再完全取決于人類工程師和研究員，而是越來越多地被 AI 自己推動。模型越強，研發越快；研發越快，下一代模型又會更強。這個飛輪一旦轉起來，就不再只是“AI 提效”的問題，而是AI 研發本身開始進入自我加速。

Anthropic 用一組關鍵數據對這個能力進行了度量：AI 獨立完成的任務時長。過去大約每 7 個月翻一倍，現在已經加速到每 4 個月翻一倍。2024 年 3 月，Claude Opus 3 大概只能完成一個人類需要 4 分鐘的軟件任務；一年后，Claude Sonnet 3.7 已經能處理約 1.5 小時任務；再往后，Claude Opus 4.6 可以完成約 12 小時任務。

在用一連串數據圖表把 Claude 的能力躍遷鋪陳到極致之后，Anthropic 終于點明了它真正的主旨：如果前沿 AI 繼續以這樣的速度發展下去，全球需要認真考慮放緩，甚至暫時停止前沿 AI 開發。

表達用詞雖然委婉，但仍可稱得上“暴論”，全球范圍內的討論熱度瞬間被點燃。目前該貼的瀏覽量已經超過 500 萬。但其實比“AI 會不會失控”更值得關注的，還有“Anthropic 如果已經深刻認識到這項工作的風險，為什么不自己先停下呢？”

對此，他們加了一個極其微妙的前提：“如果其他前沿實驗室能一起按下暫停鍵，那我們也會采取同樣的措施。”

這里的言外之意其實已經很清晰。除非大家同時停車，而且還能互相驗票，確認誰都沒偷偷往前跑，否則誰也別指望 Anthropic 會單方面踩下剎車。

于是諷刺的真相來了，全球跑得最快的 AI 公司，開始呼吁全世界同仁要踩踩剎車；但真問他自己要不要先松送油門時，答案又變成了：大家一起停才能停。

我想，這或許才是 Anthropic 這次表態能引發如此爭議的原因之一。這已經不是一個技術倫理的問題，放到前沿 AI 競賽的語境里，它本質上還是一個囚徒困境：

每家公司都知道 AI 的發展速度太快，每家公司都知道治理和法規滯后，每家公司也都知道更強模型可能帶來失控風險；但大家更知道，只要自己先慢下來，別人就可能沖到前排。

所以，某種程度而言，這番呼吁的背后，不僅是技術上的預警，更是話語權的爭奪。

在文末，Anthropic 亮出底牌：未來幾個月，他們將牽頭組織一系列全球對話，拉上監管機構、政策制定者、學界和友商，開啟一場關于“如何給 AI 自進化踩剎車”的全球探討（博弈）。

而同樣是在本周，OpenAI 也發表了博客《A blueprint for democratic governance of frontier AI》，提出一套關于前沿 AI 民主治理的藍圖，核心是推動美國建立一個更持久的聯邦框架，強化 CAISI 作為美國前沿 AI 安全主要機構的角色，并把遞歸自我改進明確列為未來治理必須重點關注的能力。

OpenAI 在藍圖中表示，今天的系統中已經能看到遞歸自我改進的早期跡象，也就是“AI 研發本身正在被 AI 加速”；它預計這會加劇開發者和國家之間的競爭壓力，并帶來現有機構尚無法應對的治理挑戰。

可以看到，治理議題一旦成立，接下來競爭的就不只是模型能力，還有規則制定權。

無論是 Anthropic，還是 OpenAI 等一眾前沿 AI 公司，都被架在了一個尷尬位置：它們既是加速者，也是預警者；本身既是風險的制造者，還要充當規則的倡議者。也就是說，你既要向資本市場展示無限的造富能力，也得向監管機構表忠心我們非常警惕技術風險。

說白了，他們真正想做的，不只是提醒大家 AI 可能失控，而是在 AI 真的逼近失控之前，率先成為那個討論“治理規則”的話事人。

AI 造 AI，正在發生

Anthropic 之所以敢把“遞歸自我改進（RSI）”的技術細節與能力擺到明面上，還在于他們已經將其訓練得爐火純青了。

截至 2026 年 5 月，Anthropic 合入代碼庫的代碼中，超過 80% 可以歸因于 Claude。而在 2025 年 2 月 Claude Code 發布之前，這個比例還只是低個位數。

這不是小幅提效，而是研發流程的結構性重構。

在公司發展的前三年，Anthropic 工程師每天合入的代碼量基本穩定。2025 年之后，Claude 開始自主編寫和運行代碼，曲線首次上揚；到了 2026 年，模型能在更長時間跨度上獨立工作，斜率進一步陡升。到 2026 年第二季度，典型工程師每天合入的代碼量已是 2024 年的 8 倍。

Anthropic 坦承，代碼行數不等于生產力，8 倍的數字肯定高估了真實效率，AI 完全可能制造更多需要回收的“代碼債”。

另一個數據更值得審視：今年 3 月的內部調查中，130 名研究人員的中位數受訪者認為，在 AI 協助下自己的產出是沒有 AI 時的 4 倍。這意味著 Claude 已經不再是“偶爾幫忙寫段腳本”的外掛，而是在系統性重寫工程師的工作流。

更關鍵的是，Claude 跨越了“寫代碼”的邊界，進入了質量控制環節。

過去一年，研究員糾正、打斷、中途接管 Claude 任務的比率持續下降——哪怕是在最復雜、最開放的任務上。在最開放的任務難度檔位上，Claude 的成功率在 2026 年 5 月達到 76%，6 個月已經暴漲 50 個百分點。

目前，所有提交到 Anthropic 代碼庫的改動，都會先經過 Claude 的自動審查，排查 bug 和安全漏洞。回溯分析顯示，如果早些啟用這套自動審查，大約三分之一導致 claude.ai 線上事故的 bug 本可在上線前被攔截。

這件事的反轉之處在于：寫這些代碼的人，已經是全球最懂 AI 系統的頂尖工程師；而現在，Claude 不僅在替他們寫代碼，還在替他們抓錯誤。

正如 Anthropic 在博客中所言：“我們正在接近一個臨界點，即模型編寫的代碼質量將與人類工程師相當，然后在某些領域超越他們。”

AI 研發鏈條里最基礎、最耗時的一環，已經開始閉環。

真正變快的，是實驗循環

如果說寫代碼還只是第一層變化，那么更深層的顛覆，是 Claude 開始極大地壓縮實驗循環。

AI 研究并不總是靠“靈光一現”。真正吞噬時間的，是大量重復性工作：改一段代碼，跑一次實驗，觀察結果，定位瓶頸，再改一輪。

Anthropic 每次發布新模型時，都會做一個固定測試：給 Claude 一段訓練小型 AI 模型的代碼，讓它在保證正確性的前提下，盡可能優化運行速度。這本質上是對 AI 研究循環的微縮模擬。

2025 年 5 月，Claude Opus 4 做到了約 3 倍加速；到了 2026 年 4 月，Claude Mythos Preview 直接干到了約 52 倍加速。作為對照，熟練的人類研究員通常需要 4 到 8 小時才能達到約 4 倍。

不要誤讀這個 52 倍，它不代表真實模型訓練成本下降了 52 倍，僅限于該特定測試。但它釋放的信號極強：在目標明確、反饋清晰、可反復試錯的研究環節，Claude 已經把時間壓縮到了人類難以追上的數量級。

這也解釋了 Anthropic 為何如此重視 RSI。博客中直指核心：“遞歸自我改進不太可能以突然的‘頓悟’時刻發生……相反，我們預計它是一個持續、漸進的過程，AI 逐漸接管更多研發任務。”

它不用每次都提出天才架構，只要能更快試錯、更快排障、更快優化，研發飛輪就會被持續推高。

Anthropic 還給了一個工程現場的案例：一次常規升級導致數萬訓練任務崩潰，工程師僅給 Claude 一段文字描述和集群權限，Claude 便自主排查運行環境，揪出隱藏極深的調試標志并完成修復。

原本需人類兩三天的工作，Claude 只用了兩小時。

Claude 不只是更快地產出代碼，而是在壓縮“從問題出現到問題解決”的時間差。這才是前沿實驗室真正關心的加速。

人類還在掌舵，但方向盤開始搖擺

Anthropic 在文章中反復強調，人類目前仍然有一個明顯優勢：研究品味（Research Taste）。也就是判斷哪些問題值得做，哪些結果可信，哪條路線值得繼續，哪條路線應該放棄。

這也是 AI 研發中最難被自動化的一環。寫代碼可以評測，跑實驗可以看結果，優化速度可以計時。但“下一步該做什么”，往往不是標準答案題。

不過，Anthropic 也已經開始測試 Claude 在這個環節上的能力。

他們選取了真實研究會話中人類研究員曾經走彎路的 129 個節點，把走彎路之前的上下文交給不同版本的 Claude，讓模型判斷下一步該怎么做。再由另一個能看到完整結局的 Claude 評估答案。

結果顯示，2025 年 11 月的 Opus 4.5，有 51% 的概率給出比當時人類更好的下一步選擇。到了 2026 年 4 月，Mythos Preview 的比例提升到 64%。

這個測試當然不能被夸大。樣本本身就來自人類曾經做得不夠好的節點，裁判也是模型，因此它不是嚴格意義上的人機公平競賽。

但它也說明 Claude 涉及到到的不只是執行層，而是開始靠近研究判斷層。這也是人類角色正在變化的地方。

過去，研究員親自寫代碼、跑實驗、分析結果、決定下一步。現在，越來越多執行工作可以交給模型，人類更像是在提出問題、設定邊界、驗證結果。

這聽起來像是解放，但也意味著另一種壓力：當執行成本大幅下降，真正稀缺的就變成判斷力本身。Anthropic 已經感受到了這種瓶頸。

Claude 能更快地產生代碼，但代碼審查會變成新瓶頸；Claude 能產出更多想法、工具和實驗，但組織未必有足夠能力消化它們。

瓶頸并不會消失，只會轉移到下一個還沒有被自動化的環節。這也是 AI 自我加速真正麻煩的地方。它不是把所有問題一次性解決，而是不斷把壓力推向人類仍然負責的那部分。

三種未來，核心問題只有一個

在這篇博客里，Anthropic 推演了三種未來。但與其說是三種科幻劇本，不如說是三個不同程度的加速場景。

第一種，能力曲線開始變平。

也許現在看起來很陡的指數曲線，最后都會變成 S 曲線。也許“研究品味”無法靠規模化解決。也許真正的瓶頸不在模型，而在芯片、電力、數據中心和供應鏈。

如果這個場景發生，AI 研發不會進入完全自我加速，社會也會獲得更多適應時間。

但 Anthropic 并不認為這意味著風險消失。它舉了 Project Glasswing 的例子：Mythos Preview 在上線最初幾周，就發現了全球關鍵系統中超過一萬個高危和嚴重級軟件漏洞。

需要說清楚的是，這些漏洞不是 AI 自我進化制造出來的，而是 AI 主動發現的。

這個例子想說明的是，即便模型能力停在今天，現有 AI 能力擴散出去，也已經足以讓很多現實系統承壓。網絡安全的瓶頸可能不再是“找不到漏洞”，而是“修不過來”。

第二種，是 Anthropic 認為更可能的情況：AI 繼續加速研發，但人類仍然掌舵。

在這個場景里，AI 大幅自動化研發流程，人類繼續負責方向選擇和最終判斷。一個很小的團隊，可以完成過去大組織才能承擔的工作量。科學發現、藥物研發、材料、能源，都可能因此被加速。

但同樣的能力也會降低危險行動的門檻。更高效的代碼生成、自動化實驗和長時程 Agent，不只會服務于科研，也可能服務于網絡攻擊、監控系統和個性化操縱。

更現實的問題是，組織能否消化這種加速。Anthropic 已經看到，代碼生成之后，審查成為瓶頸；想法生成之后，決策和篩選成為瓶頸。AI 把一段流程變快，下一段流程就會被暴露出來。

第三種，才是完整意義上的遞歸自我改進。

也就是 AI 開始設計、訓練、迭代自己的繼任者。到了這個階段，AI 進步速度主要取決于算力供給，人類退到監督、驗證和審核的位置。

Anthropic 在這里的表述非常謹慎。它沒有聲稱這一定會發生，也沒有聲稱已經發生。但它承認，如果這一幕真的出現，今天的直覺可能不再可靠。因為模型中的偏差、失準和對齊問題，可能會在一代代自我構建中疊加放大，變得越來越難理解。

所以，這三種未來真正共同指向的問題，不是“AI 什么時候覺醒”，而是人類還能不能在不斷加速的研發鏈條中保持足夠的理解、驗證和干預能力。

聽起來像治理，落地卻是博弈

也正因為如此，Anthropic 才會在文章最后提出：世界應該擁有一種選項，在必要時放緩甚至暫停前沿 AI 開發。

但它并沒有把問題說得很天真。

Anthropic 很清楚，如果只有謹慎的實驗室放慢腳步，結果可能只是把領先位置讓給更不謹慎的玩家。所以真正有效的暫停，必須是多個國家、多個前沿實驗室，在相同條件下共同參與，并且能夠相互驗證。

這也是為什么，這套主張一出來，就很容易引發反感。

因為它聽起來不像一句簡單的安全呼吁，更像是一套現實的競賽規則：要停可以，但必須大家一起停；要減速可以，但必須能確認別人也沒有偷偷加速。

這里面當然有合理性。前沿 AI 不是某家公司自己關門就能解決的問題。只要技術競賽存在，單方面“做好人”就很可能變成單方面退出牌桌。但這也正是大眾不信任的來源。

當一家跑在最前面的公司開始討論“暫停”，普通人很難不追問一句：這是在為安全負責，還是在為未來的規則制定搶位置？

更何況，Anthropic 不是唯一一個在這個時間點發聲的前沿公司。

就在本周，OpenAI 也發布了關于前沿 AI 民主治理的藍圖，他們同樣提到，當前系統中已經能看到 RSI 的早期跡象，也就是 AI 研發本身正在被 AI 加速；這種能力可能加劇開發者和國家之間的競爭壓力，并帶來現有機構難以應對的治理挑戰。

Anthropic 和 OpenAI 的表述不完全相同，落點也不同。一個強調多方可驗證的減速機制，一個強調民主治理和國家級安全機構。但共同點很明顯：它們都在把 RSI 從一個技術問題，推成一個治理問題。

而治理議題一旦成立，競爭的就不只是模型能力，還有規則制定權。

誰來定義什么是危險能力，誰來設計評估標準，誰來觸發暫停機制，誰來驗證其他玩家是否違規，誰就會在下一階段的 AI 競賽中擁有更大的話語權。

聲明：本文為 AI 前線原創，不代表平臺觀點，未經許可禁止轉載。

會議推薦

企業級 Agent 落地，繞不開 4 個真實的工程問題！如何在 Agent 安全性和可用性之間找到平衡點？Agent 需要什么樣的記憶系統才能真正理解上下文？如何通過算法壓榨實現智力增量與成本控制的極致平衡？多 Agent 協作，如何做到可觀測、可治理、可控制？6.26-27 AICon 上海站，國內頭部公司的 Agent 實踐，一次說透。

今日薦文

你也「在看」嗎？