當(dāng)AI開始"造"自己，人類該踩剎車還是踩油門？

AI正在以遠(yuǎn)超人類預(yù)期的速度，改寫自己的代碼。

6月4日，手握Claude模型、估值已飆升至9650億美元的AI巨頭Anthropic，突然向全球同業(yè)拋出了一顆重磅炸彈——呼吁全球頂級AI實驗室考慮放緩研發(fā)步伐，理由很簡單，但也極其震撼：AI可能正在逼近一個"遞歸自我改進"的臨界點，屆時，AI將能在沒有人類干預(yù)的情況下自行迭代，造出更強的下一代AI。

這不是科幻小說里的情節(jié)。Anthropic在萬字長文中披露的內(nèi)部數(shù)據(jù)顯示，截至2026年5月，其代碼庫中超過80%的代碼已經(jīng)由Claude自己生成；工程師平均每季度交付的代碼量，是2021-2025年的8倍。在最開放、最模糊、連答案長什么樣都不確定的編程任務(wù)上，Claude的成功率達(dá)到了76%，而6個月前，這個數(shù)字只有26%。

當(dāng)一家公司聲稱"代碼幾乎都是AI寫的"，而外部觀察者發(fā)現(xiàn)它說的確實是事實時，整個世界就不能再假裝什么都沒發(fā)生了。這不是關(guān)于AI取代程序員，而是關(guān)于AI開始取代AI開發(fā)者的工作——一個自我加速的螺旋，正在悄然轉(zhuǎn)動。

一、AI的"自我加速"到底有多快？

Anthropic創(chuàng)建了一個全新的衡量維度，叫"AI能獨立完成的任務(wù)時長"。2024年3月，Claude Opus 3只能搞定人類大約4分鐘的軟件任務(wù)；一年后，Claude Sonnet 3.7能干1.5小時的活兒；又一年，Claude Opus 4.6已經(jīng)能連續(xù)工作12小時。而最新的Mythos版本，在內(nèi)測中已經(jīng)能夠連續(xù)工作"至少"16小時——這已經(jīng)是METR測試框架能衡量的上限。

翻倍的速度也在加快。從每7個月翻一倍，加速到了每4個月翻一倍。如果這個趨勢持續(xù)下去，2027年，AI可能能獨立完成數(shù)周甚至數(shù)月的工作量。

在Anthropic內(nèi)部，AI不只是"協(xié)助"開發(fā)，而是深度"參與"到了研發(fā)的每一個環(huán)節(jié)。所有提交到代碼庫的改動，都會先經(jīng)過Claude自動審查，檢查bug、安全漏洞和其他缺陷。回溯分析發(fā)現(xiàn)，如果之前每次改動都有這道自動審查，大約三分之一導(dǎo)致線上事故的bug，上線之前就會被攔下來。

在更宏觀的層面，OpenAI后訓(xùn)練團隊負(fù)責(zé)人Yann Dubois也提供了一個觀察角度：AI能力的增長是線性的、連續(xù)的，但用戶體驗到的"有用性"卻是離散的、跳躍的。因為存在一個"可靠性閾值"，在跨過那個門檻之前，AI像一個聰明但愛闖禍的實習(xí)生，你不敢把活徹底交給它；跨過之后，它就成了能托付工作的員工。他判斷OpenAI大概在2025年12月左右跨過了這條線。而更刺激的是，當(dāng)模型足夠好，它會反過來加速研發(fā)本身——尤其在編程場景里，模型變強等于全員多了個不睡覺的搭檔，既能幫研究者把工具鏈搭起來，也能在訓(xùn)練下一代模型時"以AI養(yǎng)AI"。加速回路一旦轉(zhuǎn)起來，就會越轉(zhuǎn)越快。

換句話說，當(dāng)AI開始參與設(shè)計下一代的自己時，開發(fā)者本人反而成了配角。

二、AI加速的紅利：生產(chǎn)力飛躍與社會變革

Anthropic在文章中強調(diào)，"自主迭代的AI，是人類科技史上里程碑式的突破，能在生物醫(yī)藥、前沿科研等領(lǐng)域帶來巨大的好處"。

第一種可能是樂觀的：AI能力可能停滯在當(dāng)前水平，但現(xiàn)有技術(shù)普及仍將重塑各行各業(yè)。第二種可能是"人均生產(chǎn)力暴增"，百人團隊可完成過往萬人甚至十萬人的工作量，知識產(chǎn)業(yè)、政務(wù)服務(wù)迎來顛覆性變革。第三種可能性則是：AI將掌握人類創(chuàng)造性研發(fā)的全部能力，獨立自主設(shè)計迭代新版本，加速醫(yī)藥、化工、基礎(chǔ)科學(xué)的突破。

這不僅是技術(shù)的飛躍，更是社會結(jié)構(gòu)的重構(gòu)。正如Anthropic所言，"100人的公司就能完成1萬人甚至10萬人的組織的工作量"，這將徹底改變知識工作和政府服務(wù)的形態(tài)。

三、踩剎車：為什么技術(shù)飛躍令人不安？

但硬幣的另一面，同樣令人憂心。

如果AI能夠自主構(gòu)建下一代AI系統(tǒng)，面臨的將不是一個技術(shù)問題，而是一個控制問題。Anthropic警告稱，"如今模型中罕見的偏差可能會隨著模型構(gòu)建其后續(xù)版本而加劇，出現(xiàn)頻率越來越高，但人們對其理解卻越來越少，直至人類失去對它們的控制"。

這種"遞歸自我改進"一旦啟動，AI的發(fā)展速度將完全取決于計算資源，人類的監(jiān)管作用將大幅降低。在這種極端情境下，AI會不會理解人類的目標(biāo)，但選擇以人類無法理解或無法接受的方式去實現(xiàn)它？沒人知道答案。

OpenAI確實已跨過了"可靠性閾值"，但OpenAI后訓(xùn)練團隊負(fù)責(zé)人也坦言，進入真實世界后，系統(tǒng)的可靠性提升變得極為困難。一個粗暴的模型是：AI智能體每兩分鐘就有一定概率犯錯，運行時間越長，最終答案翻車的概率就越高。這個看似簡單的"錯誤率控制"問題，恰恰是AI從"工具"走向"自主決策體"道路上最難攻克的山頭。

從經(jīng)濟學(xué)的視角看，更大的不確定性在于價值觀對齊的問題。如果人類勞動力不再具有競爭力，一個由AI主導(dǎo)的經(jīng)濟體系將會是什么樣，很難預(yù)測。Anthropic呼吁為"社會結(jié)構(gòu)和對齊研究能夠跟上技術(shù)進步的步伐"留出時間，正是基于這樣的深層憂慮。

"對齊問題疊加惡化，最終導(dǎo)致失控"，是一個懸在所有AI實驗室頭上的達(dá)摩克利斯之劍。

四、真心還是營銷？時機引發(fā)質(zhì)疑

然而，事情的復(fù)雜性在于：Anthropic發(fā)出這一呼吁的時機，很難不讓人多想。

就在呼吁發(fā)出的前兩天（5月28日），Anthropic剛宣布完成650億美元融資，估值高達(dá)9650億美元，超越OpenAI的7300億美元，成為全球估值最高的私營AI公司。緊接著在6月1日，公司秘密向美國證券交易委員會遞交了IPO文件，啟動上市流程。公司年化運營收入從2025年底的90億美元暴漲至470億美元。

當(dāng)一家公司在IPO前夕呼吁"整個行業(yè)放慢腳步"，"考前呼吁大家暫停復(fù)習(xí)一周"的調(diào)侃，并非全無道理。

信息安全研究員關(guān)傲男的評判也相當(dāng)犀利：這篇文章"并非嚴(yán)格的技術(shù)報告，更傾向于是Anthropic Institute部門的公關(guān)游說與政策倡導(dǎo)目的的宣傳文章"。其主要作者是政策高管與安全戰(zhàn)略研究員，并非來自技術(shù)團隊。

"這就好比一家造車新勢力，其超級工廠里的機械臂組裝汽車速度比過去快了10倍，完全替代流水線上的裝配工人已經(jīng)沒有任何問題，但這并不代表它就能獨立完成一款全新汽車的完整設(shè)計與研發(fā)。"關(guān)傲男舉例稱，如果車企宣稱"因為機械臂組裝得足夠快，所以馬上就能發(fā)明出下一代顛覆性車型"，市場顯然不會買賬。

更尖銳的批評來自硅谷創(chuàng)投家、特朗普的非正式顧問戴維·薩克斯。他曾指責(zé)Anthropic的領(lǐng)導(dǎo)層推行"監(jiān)管俘獲議程"，即借監(jiān)管之名打壓競爭對手，可能最終導(dǎo)致禁止所謂的開源模型。

但也有人為Anthropic辯護。沃頓商學(xué)院副教授Ethan Mollick在轉(zhuǎn)發(fā)時認(rèn)為，文章值得一讀，雖然其中有一些自省、一些營銷內(nèi)容，但也有很多Anthropic對AI未來可能性的真切看法。

畢竟，Anthropic由多位OpenAI前員工于2021年創(chuàng)立，長期把AI安全和AI對齊放在公司敘事核心位置，在這一點上確實保持了一貫性。

五、爭議之外：可行性困境

拋開動機爭議，這項呼吁本身的可行性也面臨巨大挑戰(zhàn)。

文章本身也承認(rèn)："要在全球范圍內(nèi)強制暫停人工智能研發(fā)幾乎不可能，因為無論是經(jīng)濟利益還是國家安全，都有太多國家有動力繼續(xù)推進"。而且，"AI訓(xùn)練項目遠(yuǎn)比導(dǎo)彈發(fā)射井更容易隱匿。當(dāng)其他人暫停時，誰繼續(xù)前進誰就可能取得領(lǐng)先。"。

要達(dá)成一個類似"核武器協(xié)議"的全球性協(xié)議，需要多個國家、多個前沿實驗室在統(tǒng)一規(guī)則下達(dá)成共識，還要配套可互相核驗的落地機制。這即使在AI監(jiān)管理念相對一致的西方陣營內(nèi)部，也堪稱不可能完成的任務(wù)。

AI行業(yè)對當(dāng)前模型距離RSI等基準(zhǔn)還有多遠(yuǎn)，本身就存在巨大分歧。圖靈獎得主、"深度學(xué)習(xí)三巨頭之一"楊立昆就認(rèn)為，基于大語言模型的系統(tǒng)永遠(yuǎn)無法實現(xiàn)與人類智商相媲美的飛躍，AI只是高效工具，智能水平僅相當(dāng)于貓。

六、技術(shù)與安全的天平

Anthropic的呼吁，無論動機如何，都將一個根本性問題推到了聚光燈下：當(dāng)AI的自我進化速度超過人類社會的適應(yīng)能力時，我們該如何應(yīng)對？

一方面，AI的自我加速確實正在發(fā)生。Anthropic的內(nèi)部數(shù)據(jù)清晰地展示了這一趨勢。另一方面，也有人擔(dān)心，如果過早踩下技術(shù)"剎車"，可能會讓某個只有AI才能找到的重大科學(xué)突破——比如癌癥的治愈、可控核聚變的實現(xiàn)——被無限期推遲。

但真正的難題在于，AI安全與對齊研究需要時間，其進展速度遠(yuǎn)落后于模型能力的提升速度。Anthropic最終提到："如果存在一個可驗證的機制，能保證AI實驗室確實都沒偷偷卷，我們愿意減速、甚至?xí)和?。

這個"如果"，或許才是整篇文章最誠實的一句話。技術(shù)無法倒退，但監(jiān)管可以進化。也許我們需要的，不是一個全球性的暫停按鈕，而是一個能跟上技術(shù)腳步的"全球監(jiān)管安全帶"——讓AI在自我加速的同時，始終有一個人類可以掌控的方向盤。