Jumper跳槽Anthropic后復盤：AlphaFold成功不靠堆算力

如果我們談到 AI 賦能帶來的科學突破，AlphaFold 一定是不可忽略的一項。它解決了困擾生物學界半個多世紀的蛋白質折疊難題，大量壓縮了得到蛋白質結構的時間，從原來的一年，到現在的幾分鐘。它的核心開發者之一 John Jumper 也因這一貢獻在 2024 年摘得諾貝爾化學獎。

乍看之下，AlphaFold 似乎是另一個 Scaling Law 的佐證，足夠大的模型，足夠多的數據，涌現出驚人的突破。而這就關聯出 AI 圈近年來反復被提及的理念：“苦澀的教訓”（the bitter lesson），即凡是依賴人類領域知識和人工設計的方法，長期來看都會被純算力和數據擊敗。

但 Jumper（前 Google Deepmind 科學家，現已加入 Anthropic）本人在最近與 Machine Learning Street Talk 的訪談中親口否認了這一點，他認為 AlphaFold 的成功并不來自于無腦堆算力。相反，它的成功是對“苦澀的教訓”的有力反駁。

AlphaFold 解決了什么

為了更好地理解 AlphaFold 帶來的突破，我們需要先回到蛋白質上。蛋白質最初是一條長鏈，由二十種氨基酸像字母表一樣串接而成。這條鏈一旦合成完畢，就會自我組裝；通過扭曲、盤繞和折疊，形成一個緊湊而獨特的三維形狀，里頭有螺旋、有折疊片。而正是這個最終形狀決定了它的功能。Jumper 喜歡這樣比喻：這就像一個宜家書架，打開包裝箱的瞬間，它就開始自動成型。

（來源：DeepMind）

蛋白質相關研究的難點在于蛋白質結構復雜，需要大量人力物力的投入。過去科學家只能先把蛋白質結晶，再依賴體積龐大的同步加速器，產生超高亮度的 X 射線去做結構分析。

這個摸索過程非常耗時，往往要耗上數年。Jumper 回憶，有些學生直到博士快畢業了，做匯報的進展還只停留在某個蛋白質的“結晶過程”。同時他們心里明白，也許他們畢業了也沒能等到“結晶”結束。在這個問題中，無數科學家投入了大量的資源，最終也只積累了大約二十萬個結構數據。在 AlphaFold 立項時，這個數字還只有十四萬左右。

AlphaFold 的突破體現在三個層面：它的預測誤差縮小到了原子半徑級別，精度開始足以媲美傳統實驗方法; 速度從一年縮短到五到十分鐘; 規模的進展是最為驚人的，AlphaFold 團隊已經預測了兩億個蛋白質的結構，幾乎囊括了地球上所有已測序生物體內的每一種蛋白質，并且向全球免費開放。

Jumper 說，AlphaFold 的意義不僅在于它科學層面上的突破，更在于它的示范性，我們究竟該如何利用 AI 解決人類的科學難題。

（來源：Machine Learning Street Talk 訪談視頻截圖）

從結構到生物: Midnolin 蛋白的啟示

Jumper 談到，結構本身只是起點。從“擁有結構”到“真正搞懂生物學”之間，中間還有很長的路。

他舉了一個讓他印象深刻的例子。幾年前有一項研究，探討細胞如何回收清除廢棄的蛋白質。研究者發現，在細胞發育的某個階段，有數百個基因被關閉了，但不知道具體涉及到哪些蛋白質。通過遺傳學分析，他們鎖定了一種此前幾乎無人研究過的蛋白質：Midnolin。而它的運作方式不符合任何已知的標準路徑。

于是他們運行 AlphaFold，把 Midnolin 和受敲除影響的近五百種蛋白質一起輸入做聯合預測。團隊驚訝地發現，約 40% 蛋白質呈現出一個非常獨特的模式：目標蛋白質的某個部分，被死死卡在 Midnolin 的兩個部分之間，就像被一把鐵鉗夾住。

研究人員隨后回到實驗室繼續驗證：把 AlphaFold 預測中“被夾住的位點”人工移除，降解立刻停了。研究人員總共測了 10 個樣本，9 個完美吻合結論。但第 10 個的結果只是部分減弱，于是他們回頭復核，發現 AlphaFold 實際識別出了兩個結合位點; 當把第二個位點也移除后，降解現象便徹底消失了。就這樣，科學家對一種新蛋白質建立起了機制層面的理解。

Jumper 強調，AlphaFold 在研究里最核心的貢獻，是精準鎖定那些我們尚不了解其重要性的蛋白質。他用了一個老套的比喻，工廠里最重要的機器罷工了，技術員走進來，徑直擰了某顆螺絲四分之一圈，機器立刻恢復轟鳴。

但僅僅只是這么一個簡單的動作，它的維修費卻可能高達一萬美元。因為擰螺絲本身只值五毛錢，而知道該擰哪里值剩下的九千九百九十九塊五。Jumper 說，這和如今藥物制造的困境很像，在龐大復雜的細胞工廠里，人們需要具體弄明白到底是哪一處出了問題。

主持人隨即提出了一個機器學習圈普遍的擔憂：人體結構非常復雜，干預一處，別的機制立刻補償。因此，會不會出現生物學版的“打地鼠”的場景？Jumper 的回答是，正因如此，AlphaFold 才必須保持克制：

“我們并不企圖解釋一切，更不是整個細胞的通用模型。你以前做這種實驗可能要花上一年，而我們只是這個實驗結果的預測器。”

在他看來，AlphaFold 的價值恰恰在于它的窄。它能非常精準地量化自己復現某個實驗結果的能力，然后把這臺機器交給研究者，由他們自己去探索用處。研究者會以團隊意想不到的方式使用它：跑成千上萬次預測，去尋找能相互結合的蛋白質對，去挖掘復雜系統里的未知成分。

反對“苦澀的教訓”

接著，主持人問起 AlphaFold 各版本架構是怎么一步步演進的，并且特意提到外界對幾何深度學習、對 SE(3) 對稱性的津津樂道。很多人把 AlphaFold 2 的成功，歸到這些很酷的概念上。

Jumper 先是把 AlphaFold 發展的脈絡捋了一遍：AlphaFold 1 用的是在計算機視覺里開發好的現成 CNN，所有針對蛋白質的特殊處理，不過是包在外面的一層補丁。到了 AlphaFold 2，核心理念變了：它要針對蛋白質折疊這個任務，從頭搭一個科學架構。

于是就有了那個龐大的主干 EvoFormer。它利用了一個事實：蛋白質演化極其緩慢（人體內的蛋白質結構，往往和酵母菌、甚至大腸桿菌里的極其相似），所以能抓來成百上千條進化相關的序列，這便可以在“幾何認知”和“演化認知”之間搭起橋梁。

這一主干占用了 90% 以上的計算量，但也貢獻了 90% 以上的準確率。再往后，是被 Jumper 稱作“幾何化引擎”的結構模塊，里頭有巧妙的“不變點注意力機制”（IPA），和一個起了決定性作用的損失函數，“框架對齊點誤差”（FAPE）。

外界一口咬定，等變性（equivariance）和 SE(3) 不變性就是 AlphaFold 2 能成功的唯一原因。Jumper 并不認可，于是索性做了一大堆消融實驗，把各個組件一個個關掉，看結果會如何發展。

他發現 AlphaFold 2 在 GDT 指標上比 AlphaFold 1 高出大約 30 分；而把不變性和等變性拿掉，頂多也就損失 2 到 2.5 分。Jumper 無奈地說，“它確實有貢獻，可這只是 30 分里的 2.5 分而已。我本以為這足夠平息爭論了，結果并沒有。”

人們照舊把 AlphaFold 2 捧成等變性的偉大勝利，對真正要緊的 FAPE 只字不提，反倒揪著一個等變 Transformer 不放。在這件事上，Jumper 把自己形容成一個“極度冷酷的實證主義者”。

他認為是全局 SE(3) 對稱性其實算不上一種很強的對稱性，跟“所有殘基都是置換不變的”那種量級根本沒法比；它只是一個亂糟糟的現實問題里冒出來的對稱性，起不到物理學里那種從對稱群一路推出整套定律的決定性作用。

有一回團隊在處理成對信息時，把軸向注意力和卷積混著用；后來有人干脆把所有卷積層都刪了，一個參數沒加，總參數量實打實地降了下來。結果模型反而更準，驗證損失也改善了。還有消融實驗顯示，把原始遺傳信息去掉、改用成對相關性，性能也就掉一兩分。

而可解釋性分析又發現，AlphaFold 大部分的模型容量，都花在了從幾何層面去優化結構上；過了最初幾層之后，它更像一個“幾何引擎”，而不是“進化引擎”。這些洞見后來全被帶進了 AlphaFold 3。團隊選擇大刀闊斧砍掉 EvoFormer 的層數，換成簡化版的 Pairformer，性能反倒上去了。

也正是由此，Jumper 表明了他對“苦澀的教訓”的反對：AlphaFold 2 在架構和訓練上注入的那些定制化創新，換來的是 100 倍的數據效率飛躍；AlQuraishi 實驗室曾經只用 1% 的 PDB 數據（大約 1,500 個結構）重訓 AlphaFold 2，準確率竟然就超過了 AlphaFold 1。所以他認為，AlphaFold 帶來的啟迪絕不是學者不該繼續做架構研究。

擴散模型

談到一年前發布的 AlphaFold 3，外界又習慣性地貼上一個標簽：擴散模型。Jumper 再次表示要在概念層面提出異議，他不喜歡簡單地把 AlphaFold 3 稱作一個擴散模型，因為這會重復“因為它是 Transformer 所以才有效”那種過度簡化的理解。

（來源：Nature）

AlphaFold 3 的真正突破，是從只盯著單個蛋白質，擴展到整個蛋白質電影宇宙：蛋白質會和膽固醇這樣的脂質分子結合，也會和藥物（通常是二三十到五十個原子的小分子）結合。AlphaFold 2 不能回答“這種藥物如何結合”的問題，它只會說“你最好給我一個蛋白質”；而 AlphaFold 3 把模型擴展到了 PDB 里出現的所有物質，所以能指出藥物結合的精確位置。

至于其中的擴散過程，Jumper 強調它和圖像領域的擴散截然不同。AlphaFold 3 有一個巨大的、只運行一次的主干網絡，這部分根本不是擴散；分子結構很可能就是在這里被決定的。擴散過程扮演的角色，更像當年的結構模塊：一臺“幾何化引擎”，接收一組相當精準的約束，對整體結構已有清晰的宏觀概念，再據此求解微觀細節。

他舉了一個很妙的對比。圖像擴散是先生成一堆彩色色塊，到后期才決定這些色塊代表什么意思；你甚至能中途叫停、重新運行，對同樣的色塊得出截然不同的解讀。但蛋白質不行。對蛋白質而言，宏觀的大尺度結構才是最難的部分。

AlphaFold 2 是凝聚式地工作：先搞定最容易預測的局部碎片，再慢慢拼裝成整體。而 AlphaFold 3 的擴散網絡必須反過來，率先跨過“兩個蛋白質如何相互結合、它們主干的相對位置在哪”這道門檻。它靠的是前面龐大的主干加上擴散網絡的第一遍前向傳播，先求解出整體宏觀結構，之后的擴散過程只是在敲定那些尚未解決的細枝末節、在各種可能的細節里采樣。

所以，盡管技術上它確實是擴散模型，但其內在邏輯遠比想象中更接近 AlphaFold 2。Jumper 真正想表達的是，糾結“它是擴散模型還是 Transformer”遠不如理解那些關鍵的技術細節來得重要。

預測、控制與理解

Jumper 在訪談中區分了三件容易混淆的事：

預測：我要做一件事，未來我的屏幕上、我的儀器上會出現什么數值。

控制：我希望未來測到的那個值是 17，那我應該如何干預。

理解：它和預測很像，區別在于有人類參與循環（human in the loop）。理解意味著我只掌握極少量事實，你就能據此預測，而且能用緊湊的形式，把它傳達給另一個人。

Jumper 認為機器賦予了我們預測和控制的能力，但理解這件事，仍然必須由人類自己去推導和構建。我們可以拿這兩億個預測結構當作實驗對象去研究、去幫助理解，但機器本身并不能替我們完成“理解”這個動作。

由此，他還引出一個機器學習里極重要的概念：世界上有兩種算法，一種是你親手編寫的；另一種是你最終訓練出來的。

機器學習的本質，就是代碼與數據相遇、凝結成權重的過程。而長久的爭論在于，最終的本領里有多少歸功于代碼，多少歸功于沉淀在權重里的數據。AlphaFold 的迷人之處在于，它最終學會的算法是一種我們能夠理解、能用寥寥數語講清楚的算法：連續的幾何精煉。

智能與表征

訪談的最后落到了一個更宏大的問題：這一切發展對通用人工智能意味著什么。Jumper 的態度一如既往地克制。

（來源：Youtube）

他認為，以顯式方式去設定“表征”的重要性，已經遠不如五年前人們以為的那樣了。AlphaFold 就是證據。代碼強制它做的，它固然會做；但它許多驚艷之舉，并非出自代碼的強制規定。為了把數據預測得足夠準，它必須自己去尋找優質的中間表征。

機器學習曾長期沉迷于一種誘惑：既然我知道最終一定需要某個概念，就在網絡里專設一個單元去命名它、強制中間層生成解耦表征。但后來人們發現，許多曾被認為“智能”必不可少的要素，僅僅在模型精準預測下一個 token 的過程中，就自然涌現了。

用 Jumper 的話說：它們涌現，不是因為你在預測下一個 token，而是因為你把預測下一個 token 這件事做到了極致。

代價是 Scaling Law 里那條大家最不喜歡的對數線性關系，往往要投入指數級的算力和數據，才能換來能力的線性提升。

Jumper 這樣理解當下未解的核心問題：我們的確獲得了這些概念和表征，但如何才能用更低的成本獲得它們？今天我們能用軟件腳手架給模型外掛記憶、不斷提醒智能體當下的目標，來修補它的固有缺陷；可我們還不知道，如何把這些外部能力無縫“蒸餾”回神經網絡內部，讓它本身具備不再依賴外掛的本領。

這大概是 AlphaFold 這個故事最有意思的地方。一個剛剛為人類破解了半個世紀難題并因此封神的系統；它的締造者卻始終拒絕把它供上神壇——等變性沒那么神，擴散模型沒那么神，“理解”這件事本身也遠沒有被解決。Jumper 在乎的始終是那些不起眼的笨功夫，以及從預測到控制、再到人類自己去構建理解的那段距離。

https://www.youtube.com/watch?v=e3gBwLWAerw

運營/排版：何晨龍