最快半年AI跑通自進化？與陳天橋首席科學家聊聊硅谷模型必爭之地

（點擊收聽本期音頻）

采訪｜泓君

圖文｜朱婕

從ChatGPT掀起生成式AI浪潮到現在，不過短短兩三年，AI能力的進化速度已經讓"AI自我進化"這件事從科幻走進了現實。上個月，Anthropic在一份公開報告中預測，AI未來將進入"遞歸自我提升"（Recursive Self-Improvement, RSI）階段，并呼吁人類共同為AI的發展設計出一個減速或暫停機制。

AI自我進化會以多快的速度到來？未來的AI，它會在通往真理的道路上與人類并肩作戰，穩步破解醫學、氣候等種種難題，還是會在暗處走向失控？

本期播客，泓君邀請到專注做“發現模型”的AI公司Apodex的兩位首席科學家，Simon杜少雷（推理模型與訓練方向，華盛頓大學計算機系副教授）和Beibin Li（自我進化與編程方向），聊聊AI自我進化離我們有多遠。

Apodex是一家陳天橋出資創立并親自主導的公司，這家公司給自己的定位非常特別，他們只做一件事——Heavy Duty Solver，專啃那些沒有標準答案、人類自己都不知道從哪下手的難題。他們管自己想做的模型叫做Discovery Model。不是從已知的信息里面找答案，而是要提出人類還沒有想到過的假設，自己想辦法去驗證它，去解決這個世界上還沒有被解決的科學難題。實現這一切的方法路徑，就是AI的自進化。

嘉賓預言，最快半年，AI就能跑通一次完整的自我進化閉環。但要實現持續的、可靠的遞歸提升，模型需要具備“自我驗證”能力，成為自己的考官。這很像人類科學家的基本功：大膽假設，小心求證。而要讓AI做到這一點，關鍵的前提是——讓它擁有科學家一樣的品味和判斷力。

歡迎關注《硅谷101視頻號》的 音頻欄 目 直 接收聽本期播客 。 如 果 你喜歡我們的 節目，更推 薦大家使用 音頻客戶端來收聽，《硅谷101 》已覆蓋各大 主流音頻 平臺（渠道見文末），歡迎訂閱！

以下是這次對話內容的精選：

泓君：今年有一個詞很火，就是RSI。我發現大模型，每年都有一些新的方向出來，前幾年我們在聊的最火的是Deep Research深度研究，再到Coding代碼方向，今年就到了自進化Self-evolve的方向……這后面有沒有一個核心的主線？

Beibin：我感覺從訓練的角度來看，其實是同一個能力在提高，就是長鏈推理的能力。不管是在Deep Research還是Coding這些環境下，其實它的內核都是一樣的，只是它的方向有一些細微的區別。

我們說的“自我進化”這個概念，其實并不是一個新的概念了——我就不說遠的了，我就光說語言模型的自我進化，往前推的話也可以推到大概三年前左右。那個時候Google就有一篇論文叫做“LLM as Optimizer”，就是說用大語言模型當作一個優化器，可以優化不同的東西。當時我在AutoGen那邊，也有和同事出一個類似的概念叫做Agent optimizer，就是智能助手可以自己進化、自己優化自己。

只不過這兩年大家發現模型的能力越來越強了，它可以自我優化的東西越來越多了。就比如說Anthropic有八成的代碼是可以自己寫的。訓練模型不管是從哪個角度來說，從合成數據的生成、自然語言數據的清理，還是自我訓練學習的代碼、算法，以及infra底層代碼，其實它都是一種代碼的形式。一旦模型的寫代碼能力變強了，用它來進行自我提升、自己訓練自己，其實是非常自然的一件事情。

泓君：Beibin，你之前的背景是一直在關注模型的自我進化這條線是嗎？要不要簡單介紹一下自己的背景？

Beibin：我最開始是在微軟研究院做多智能體的合作。那個時候我們不叫做自我進化，那個時候智能體都是一個比較新的概念，所以大家一般對外說都是說智能體，但是實際上我同事的一些工作就已經涉及自我進化了，當時我們叫做“agent optimizer”和“teachable agent”，智能體可以教智能體，下一次再做類似的事情的時候可以用哪些技能，和現在的Skills概念有點像。

后來我去了Meta和xAI，在xAI的時候，我們就已經開始關注Agentic RL，就是通過強化學習來加強智能體的一些能力，比如說用工具的能力、寫代碼的能力。當時還有個概念叫做MCP Tools。

所以Simon和我大概一年前左右就發現了，模型提高自己是非常可行的一件事情，我們當時做的一些強化學習的數據生成，其實有很大一部分是代碼寫的。到今年年初的時候，Andrej Karpathy發布了AutoResearch，是他自己進行科研的一個項目，突然一下這個概念就爆火了。

泓君：非常好的自我進化的總結。我覺得今年大家在提到自我進化的時候，說的是一種遞歸自我提升，Beibin你要不要跟大家解釋一下這個概念。

Beibin：如果大家把自我進化想象成一個圓環，比如說模型自己找問題，自己出題，自己解答，自己訓練自己，那RSI里面的“R”就代表是“Recursive”，就有點像垂直的遞歸式，慢慢慢慢向上增長。這一點確實是跟以往的一些自進化有一點點不一樣。

今年跟往年的最大的區別就是在于模型的能力變強了。比如說Anthropic發表的論文或者是說發表的博客有提到80%的代碼是它們寫的，他們可以做人類大概一天左右時間做的事情。這個能力上來了之后，因為它是可以完成非常長程的任務，所以在一個長程的任務里面，這個模型可以提高自己好幾遍。

過去，比如我們說LLM as Optimizer或者是agent optimizer的時候，LLM只會一次可能優化自己大概兩三個小時，因為你優化太久了，它可能因為自己的偏差或者自己的能力不足，就很難繼續往下迭代。今年為什么這個recursive這個“R”出來了？因為大家發現這個模型可以進行很長程的任務，所以它可以讓這個模型自己recursive，多提高幾遍。

圖片來源：Anthropic Institute

泓君：我看這篇文章里面有一個數據，就是說2024年3月份，Claude 3的opus它可以完成人類約4分鐘完成的任務；一年后，就是3.7 sonnet，就可以處理需要1.5小時處理的任務；又過了一年，這個Claude 4.6 opus可以處理長達12個小時的任務。整個我們看到大模型的改進速度是在翻倍的，而且這個比我們計算機領域的經典的摩爾定律翻倍的速度還要快。

Beibin：是的，業界各家都有不同的說法，但是好像大家比較接受的判斷是，這個模型能做到的事情對于人類時間來說，每7個月會翻一倍。

泓君：剛剛提到RSI，它可以處理長程任務，我們理解這個長程，是不是可以理解成它是一個需要很多個步驟、很多個環節來互相印證的的一系列任務？假設做播客，它能從開始的規劃一直到最終這個播客做出來，中間可能有十幾個步驟，它能把每一個步驟都做好，長程任務是指這個意思嗎？

Beibin：不同的人對長程的定義也有點不一樣，但是大家都同意這一點，就是模型可以自己在人類不監督的情況下可以工作很長。像您剛剛說的對于播客文件處理，比如說這個模型可以先剪切一下這個音頻，自己聽一遍，發現哪里剪得不對重新剪，這樣可以循環幾次，然后就可以進行到下一個點。這種任務可能平時對一個人類來說可能要花20個小時或者30個小時可以做完。如果模型可以在沒有人類監督的情況下把這個任務完成，我覺得它就完成了這個長程的任務。

泓君：它是怎么做到的呢？

Beibin：這里就有非常多的技術細節。首先就是在模型的架構上就要進行一些創新，比如說傳統的Self-attention其實是一個O(n2)，就是我們在算法領域說的是一個Polynomial time的算法，所以當我們的tokens比較多的時候，特別是在100萬個上下文的時候，模型首先就是在推理的時候就會花非常多的資源，這個我們有很多現成的解法，就比如說GDN、GDNv2，DeepSeek-V4 Pro，它也有自己的一套架構。

第二就是訓練數據，我們要100萬上下文，Inference support其實不是特別難，我們只要把模型訓練好了，放到SGLang或者vLLM里面，給它參數都設置好，它可以支持100萬上下文甚至更多的上下文。但是如果你的模型沒有在這種非常長的數據下進行訓練的話，那它可能就是我們所謂的Out of distribution，因為100萬上下文是非常非常長的一個概念，相當《哈利·波特》好幾部書放在一起，而我們的代碼即使是最大的repo也很難滿足這100萬的上下文。所以在預訓練和后訓練的數據處理上也是非常大的一個挑戰。

第三點就是infra也是一個難度，不僅是說在測試時的Infra，而且是在訓練時候的infra，因為你要如果讓這個語言模型就直接輸出100萬個token的話，我們需要比如說在GPU上做一些什么樣的優化，在kernel上改一些什么樣的代碼，這些也是非常困難的事情。所以這個就是為何訓練這種長程任務相對于普通任務會是指數級的難度增長。

Simon：真想解決長程問題的話，從agent架構上也可以有很多可以做的。因為即使是我們有100萬的上下文可以處理，但是真正長程的任務可能都還是不止100萬，我們需要在有限的上下文里處理甚至無限的上下文。那怎么做呢？還是需要一些比如說agent技術、記憶的技術等等，去處理這種超長程任務所涉及的超長上下文這樣的問題。

泓君：我們聽起來很簡單，但是這個中間可能涉及到了很多具體細分的技術體系。之前我記得Beibin你有講過，訓練一個模型其實本質就是Data數據、infra基礎架構和算法這三件事。其實這三件事都高度地依賴寫代碼。所以我們今天看到像Claude它能表現出這么強的基礎模型的研發能力，主要是因為它coding能力的提升。自進化的能力它也是跟coding的能力是緊密相關的，我可以這樣理解嗎？

Beibin：我基本上同意這個看法。所以coding它會變成模型的一個標配的底座，但并不是所有模型——比如說聊天型的模型可能不太需要寫代碼的能力。當然了，聊天型的小模型可能也是通過一個大模型進行蒸餾的，所以它背后的這些大模型肯定還是需要高度優化寫代碼的能力的。

泓君：我發現在學術界，自我進化還有一個很根本的障礙——“遞歸漂移”。它的意思就是說，模型在自己去生成它的訓練數據的時候，它推理的錯誤會一代一代去累積。比如我們看它給出的一個答案，答案的結果可能是對的，但是它的推理過程可能是錯的，在自我進化的過程中，它就會把這個錯誤一代一代累積，最后進化的結果可能就越來越歪。這是兩位在真正的訓練模型中遇到的一個比較根本性的難題嗎？

Beibin：我非常同意這個看法。Apodex有一個不一樣的地方，就是我們比較注重verification，就是“自我驗證”。模型自己在訓練自己的時候，如果它的驗證有任何的漂移或者是bias的話，會對結果造成不好的影響，因為它可以累積起來。在做比如說寫代碼和做數學計算的這些任務的時候，我們比較容易驗證，可以通過rule-based，通過跑一套測試代碼來確定它有沒有對，所以，在代碼領域相對來說更好解決Recursive drift的問題。

當然了，如果對代碼領域有了解的一些專家可能還會發現，即使是有test script，即使有test code，它其實偶爾還是會發生漂移——因為不管是人還是AI在寫測試代碼的時候，可能偶爾會太寬，偶爾會太窄，太寬的時候可能會讓錯誤的解題代碼通過，但如果太緊的話有時候會懲罰寫得對的代碼。所以這種情況下還是還會發生細微的遞歸漂移，但是它會簡單很多。

泓君：我其實很好奇，你們怎么去做驗證？因為我知道，驗證是你們主打的一個核心功能。我去試用了一下你們的產品，收到了一封郵件，這個郵件的標題非常有意思，它叫做“很多AI系統生成答案，而Apodex驗證它們”。后來我才知道，原來你們公司的名字Apodex它是源自于一個希臘語“?π?δειξι?”，它的意思就是證明跟論證，所以相當于你們從成立的開始，就把驗證、較真寫到了名字里面。

圖片來源：Apodex

Simon：驗證這一步，我們有很多套方法。因為不同的領域確實需要不同的驗證方法。比如說代碼，一般來說你可以用單元測試進行驗證，數學現在有Lean這種形式化驗證的方法去驗證。

但不得不說，還是有很多的問題更依賴于人的一種判斷，甚至都并不是一種100%正確或不正確。這種時候我們其實是依賴一個Agent系統去做我們現在Apodex 1.0的驗證的，我們管這個叫Agent Team。大概就是說，一個問題最開始會分解，我們會有不同的子agent，有的是去解決這個問題，也會有另一個子agent單獨地去驗證另一個子agent寫出來的解法。之所以要分成兩個子agent，還是因為上下文的問題，不要讓一個agent干所有事情，同時兩個agent給它的指示也不太一樣。

除此之外還有一些比較重要的技巧，比如冗余。這個冗余的思想在計算機里面有很長的歷史了。同一個問題你讓不止一個agent去做，我們會得到不止一份答案。當我得到不止一個答案之后，我們會讓一個全局agent去判斷，哪個agent反饋的答案更準確，這樣會比只用一個agent去解一個方面的任務效果好很多。

這是從agent方面我們有這些設計去做一些驗證。在訓練的時候，我們也會專門針對驗證去訓練一些能力，比如說我們會讓agent去判斷一下不同信息源搜集的信息哪些是更靠譜一些。

Beibin：另外我們在進行強化學習的時候，我們的裁判也會在訓練的過程中一起學習，這樣可以避免模型學會一些不好的行為，可以避免它進行一些獎勵黑客（reward hacking，指尋找取悅裁判的捷徑但沒有實際進步）。

泓君：你們現在是怎么做自我進化的，現階段是有哪些路徑可以去達成？

Beibin：我們其實在自我進化的時候，把它分成了不同的階段。我們有預訓練和后訓練階段。預訓練階段的話就是在數據的采集、清理上面會進行不同的自我進化的一些方法。在后訓練里面，自我進化可能更加有效一點，因為我們在一個模型出來經過了后訓練之后，我們才知道它會有一些什么樣的問題。

所以我們的后訓練自我進化就包括：診斷自己有什么癥狀、哪里不達標，然后基于自己的診斷來造不同的訓練的配方；拿到自己訓練的數據和配方來自己訓練自己，驗證自己每一步做的是否正確；最后回到第一步，再診斷自己有什么缺陷。

另外在腳手架harness上面，我們也有一些自進化。腳手架和后訓練其實挺難解耦的，所以模型在后訓練上進化之后，我們的腳手架也會進行一個新的進化。你可以把它想象成兩只不同的腳，左腳會踩一下，右腳會踩一下，讓這個模型往前跑。

泓君：我理解剛剛根據Beibin你說的，你們所有的三種方式——預訓練、后訓練，包括整個Harness的環境，全部會用到？

Beibin：對的，因為我們公司是把自我進化當作是主要的方法論，所以我們在每一個方面基本上都會用到自我進化的思想。

Simon：我稍微補充一下，搜索能力對于后訓練是非常重要的。因為后訓練絕大部分的方法就是說，假設你的模型已經可以判斷出來當前這個模型有什么缺點，那么它需要去針對性地造一些任務以及對應的答案去提高模型這個能力。造任務其實非常依賴于搜索能力，基本上你造任務還是需要去網上搜索對應的一些相關的資料，然后造出對應的題目。所以搜索本身是一個非常重要的能力，也是我們最初先做Deep Research的原因。

因為Deep Research是一個非常general的能力，其中搜索可能是一個非常本質的能力，它代表了當你的模型需要提高哪個能力的時候，它可以指引或找到對應的這些數據去提高對應的能力。

泓君：我注意到你們現在是在好幾個Deep Research的榜單上都拿了第一名，要不要講一下？

Simon：這些包括BrowseComp，這是OpenAI研發的基準測試，還有DeepSearchQA、Frontier Science，這些是Frontier Lab出基準測試。

BrowseComp其實它更關注的就是搜索能力，會有特別刁鉆的一些問題，比如說我要搜索一本書它是幾幾年之前出的，它的首字母是什么ZY，大概這樣的一些問題。這方面我們是SOTA（最高水準），比包括閉源模型都好一些。

Frontier Science更多的是給你一個實際的科研問題，看你能不能制定一個計劃，一步一步地去做。它會用一個LLM-as-a-Judge，去判斷你的步驟合理不合理。

這兩方面我們都做了深入研究，造出了對應的題目，去提高我們模型的能力。還有一方面就是我們之前討論過的Agent Team整個的范式，包括verification驗證，還有通過更多的冗余去判斷，得到一個更全局的結果，最后生成一個答案。這整個的系統讓我們拿到了SOTA的水平。

泓君：我注意到你們在Deep Research的后訓練環節，其實你們相當于是用一個整個的agent的團隊去替代單個agent的驗證的，一個說復雜的任務能調動上百個子的agent。你會認為是一個聰明的AI，反而干不過一個會相互check的團隊嗎？

Simon：對，我非常相信這一點，因為這是目前我認為是基于Self-attention結構的一個本質問題。而且我認為即使你用Linear Attention這樣一些新的結構，應該也解決不了超長上下文這樣的問題。上下文越長，Attention的注意力效果就越差，所以你單個模型至少在目前的技術范式下它還是有上限的。

當然這個跟人類也很像，就是說人的腦子它還是有限的，所以你才需要紙筆把一些信息記錄下來，然后之后你再調用它。至少在近期，我其實不太相信你用一個agent能解決特別特別長的上下文的問題，所以這種時候你就需要多個agent以及記憶力機制，整個的一個系統去解決一些超長程的問題。

泓君：接下來可能是聊到我最興奮的一個板塊了。Apodex它是要做discovery model，發現模型。Simon，你要不要跟大家先介紹一下整個Apodex它是一個什么樣的模型？

Simon：我們的長期愿景是Heavy Duty Solver。我們強調的是解決很難的問題，而不是聊天機器人這樣的大模型初期的一些應用。我們的手段是通過自我進化，這是我們一直在強調的。我們相信大模型最終是能解決人類之前解決不了的這些問題。從經濟的角度來說，現在大部分的模型廠商都是在賣token，但我們相信真正通過大模型去解決了一些人類沒有解決的問題，那么解決問題本身所創造的價值應該是遠大于賣token的價值。我們這邊也有一個專門的團隊，叫Heavy Duty Discovery，就是專門去找到最難的問題的一個團隊。

泓君：Heavy Duty Discovery團隊現在具體是在找哪些問題？

Simon：第一步是生物醫藥，包括制藥、靶點發現、老藥新用，也包括疾病診斷。很多問題確實是非常具體領域的問題，所以我們需要一個專門的團隊去找到什么樣的問題是合適去解決的。

泓君：那很期待你們的下一步。我發現你們要做的是discovery model（發現模型），而不是generative model（生成模型）。Beibin你要不要跟大家解釋一下這兩個模型它在根本上的區別是什么？

Beibin：讓模型提出一個假設，其實并不是特別難的，但是難的就是提出的這個假設特別的out of distribution（分布外），非常有創新性，這是第一。

第二個更大的難點是說，我們要怎么樣驗證這個假設？當然這個跟怎么樣做Verification、怎么樣自我驗證也是強相關的一個部分。比如說可以用Deep Research的方法收集已有的信息找更好的假設，也可以用寫代碼或者是Self verification這些方法來跑一些實驗。如果我們能在計算機上跑一些比如說模擬的話，也可以讓我們對這個提出的新假設更加有信心。

所以發現模型的瓶頸，第一就是未知領域，其實很難有標準答案，也很難在這種模擬環境得到可信的驗證。所以self-evolution（自我進化）是我們通向Heavy Duty Solver和discovery的一個主要方法。

圖片來源：pexels

泓君：剛剛你說到Discovery model的時候，提到了我們要做很多假設然后要去求證，其實這讓我想到了科學領域最基礎的一個方法——大膽假設，小心求證。我覺得這其實也是我自己開始做記者、做報道的時候一直在貫徹的一個價值觀。

大家以前一直對模型的印象就是，它能從網上、從人類現有的知識庫里面找到已知知識的答案就已經很不錯了。現在模型的智力怎么樣才能夠讓它做到理解貫穿人類的知識，同時還能提出問題、發現問題？這已經不是讓AI去做一個解題者了，這個更像是讓AI去做一個科學家，是很難的。

Beibin：這是現在的一個難點。因為怎么樣訓練一個Generative model，市面上已經有非常多的可行性方法了，相關的訓練配方其實也特別成熟。但是如何讓這個模型進行一些假設和discovery，這個其實是大家還在調、沒有完全調通的一件事情。

回到剛剛你說的一點，怎么樣像科學家一樣在未知中提出問題？這里也可以再往下切細一點。比如說在寫代碼這個領域，比如說SWE-bench Verified（OpenAI推出的基準測試）這種類型的題目，其實都是在訓練模型怎么樣做一個解題家，但是“會提問”其實是一個我們叫做的“Meta能力”，更高維的一個能力。這個其實也涉及到了我剛剛說后訓練的一個loop，就是要自我診斷，然后再自我造題，然后再自我訓練。怎么樣在這個模型現在的回答里面或者是所有收集的這些信息里面，診斷出哪里的能力有問題，或者是哪里的假設需要更深入地看，這個是我們接下來會注重的一個領域和方向。

Simon：在學術界，大家都知道有好的論文跟灌水論文，我們也想培養模型變成一個真正的好的科學家，那么你就需要培養一個非常好的taste，就是學術品味。你提出一個新的問題，肯定需要先做Deep Research找到已有的知識，但是你提出什么樣的問題其實是仁者見仁、智者見智的。你可以提出一個比較Incremental的問題，它可能比較容易，但是你可以發一個論文；但你也可以提一個比較Fundamental的問題，它可能不是那么容易解決，但解決了它真的是能讓科學有所突破。

所以我們之后會進一步訓練模型，會讓它有更好的學術品味，訓練方法上還需要跟人類最頂級的科學家去對齊。陳天橋陳總經常會讓我們和一些頂級的科學家一起去討論，請他們提供一些insight或者數據等等，去幫助我們模型有更好的品味。

泓君：頂級的科學家，他們有什么樣的共性？我們從他們身上學到的特質，怎么轉換成一種計算的方法，或者說是跟AI交互的方法？這塊大家有什么樣的思考嗎？

Simon：我們一般說一個頂級科學家，不是看他有多少篇論文，是看他最好的論文質量有多高。所以我們一定要追求頂點，解答這些最本質的問題，這個甚至要寫在模型憲法里。具體實操上，訓練方法上還是目前已有的一些，比如說RLHF（人類反饋強化學習）這種人類偏好、SFT（監督微調）或者RL（強化學習）。

這里最簡單的方法當然就是偏好了，比如說你問一個科學家兩道題，他一般是能判斷出來哪個是一個灌水題，哪個不是一個灌水題。經過這方面的訓練，AI也能判斷出來，你應該讓模型去多提一提非灌水題。

泓君：Beibin，你覺得在跟頂級科學家交互的過程中，你學到了什么，你覺得這些思想怎么可以用到模型的訓練中去？

Beibin：其實AI馬上就能進行自我進化了，我對這一點非常堅信不疑——要么是接下來半年，要么是一年，反正在接下來兩三年內，肯定自我進化就會成功了。在那個時候，我們還需要頂級的AI科學家干嘛呢？或者是說，我們還需要人類干嘛呢？想來想去就是“品味”這個詞。訓練這些不同的模型的時候，我發現了這個品味是真的很重要。同樣讀完一篇論文之后，你可以想到一個非常小的改進，或者你可以想到一個非常長的、非常大的假設，但是要干非常多的活，要邁非常大的步子才能解決的問題。

我現在覺得，即使是市面上最好的模型，它的品味其實也是遠低于一個普通的AI科學家的。這也是為什么現在AI寫代碼寫得很好，但是還是不能把模型的訓練全部自動化進行起來。所以我覺得接下來，不管是作為一個人類AI頂尖的科學家，還是說作為一個研究員、一個工程師在訓練這個模型，都是需要把控模型的品味的。

這個其實是非常難的一件事情，因為如果大家用過很多不同種類的模型，大家會發現所有模型其實有一些通病——它們或多或少都挺喜歡拍馬屁的。一個喜歡拍馬屁的模型其實很難提出一個大膽的假設。另外除了拍馬屁這個缺點之外，它還是有一點hedging behavior，對沖的行為，就是“……對，用戶你說得非常對，剛剛是我的疏忽，但是我說得也沒有錯，你說得更全面……”這些AI模型經常會用這樣的方法來回答用戶問題。

所以我們在訓練AI時候，都會對模型的提出假設能力進行一個后訓練。但是我們怎么樣能保證我們訓練的新的模型，不會出現雞蛋里挑骨頭的那種行為呢？這就是要品味來平衡——模型既不要拍馬屁，也不要雞蛋里挑骨頭，能真的是實打實地提出一個非常好的假設，然后再把它驗證出來。

泓君：你剛剛提到了模型拍馬屁，用戶說什么它什么就是對的，這確實是在我用很多模型的過程中，覺得最痛苦的一部分——它不會給你一個事實性的答案，它給你的永遠是迎合你的那個答案。這一塊是不是跟在訓練模型的時候，把這個模型的參數往哪邊調，給它注入什么樣的人格特質是有一定關系？

Beibin：不管是哪家公司，在后訓練的時候或多或少地會有一個RLHF的一個階段。RLHF它的來源數據基本上是用戶投票的數據，也有可能是模型訓練公司自己讓員工去標的偏好數據。人不是完美的，所以人類作為本身就會可能有特殊的偏好，比如說偏好說好話、拍馬屁的模型答案，可能偏好寫得非常長的答案，可能偏好格式上非常的結構化，即使這個結構本身沒有什么實際的意義。就是因為這種人為的一些偏差，才會讓這個模型有不同的拍馬屁的行為。

Apodex因為想做Heavy Duty Solver，所以我們不會用網上大眾的這些人類的偏好來訓練這個模型，所以可以或多或少地避免些許這樣的問題。未來我們在訓練這個模型的時候，肯定是想要最頂尖的人類來標這些偏好數據，或者是說給不同的模型答案打分，確保公正公平，也可以從數據源頭稍微解決這些問題。

泓君：你剛剛提到了，既不要拍馬屁的模型，也不要雞蛋里面挑骨頭的模型。我們知道了“兩個不”，那要做什么樣的模型？要把什么樣的人格注入到這個模型里面？大家有什么樣的想法嗎？

Beibin：剛剛我們其實是聊的品味，我把左和右“兩個不”打出來，中間就是我們要的。不管是這個模型通過research找到了一些相關的信息，還是通過寫代碼得到了一些答案，有了這些所有的原始材料之后，這個模型要通過自己的思考、自己的推理來給出一個相對比較合理的解釋。Agent Team也能稍微把這個問題解決一點。

Simon：要解決拍馬屁這個事情，我們要讓模型做的就是，用戶讓我們做的事情，但如果我們覺得不合理，那么我們應該告訴用戶，而不是去拍馬屁。我們其實是有一整個系統去達到這樣的目的的，包括我們的Constitution AI（AI憲法），這個概念Anthropic幾年前就提出來了，這個給我們整個模型定義了一個性格，這個我們都是把這種性格訓練在模型的權重里去實現它。當然還有很多比如說我們注重真實性，比如說如果用戶說錯了我們要去糾正他，那這樣的里面的細節就是通過驗證verification或者Agent Team整個的形式，或多或少會去驗證用戶說得對還是不對，然后我們會去反駁他。

至于什么樣的問題是好問題，就是不在雞蛋里挑骨頭，這個確實是一個品味問題，這方面更多的還是通過和頂級科學家去聊，以及頂級科學家提供的一些比如說偏好數據等等，去培養這樣的品味。其實這個也是和平時我們在學校培養PhD是一樣的。我們公司有這種能接觸到各行各業的頂級科學家的資源，這是非常重要的一點，所以這也是陳天橋陳總從一開始的一個愿景，就是說我們從一開始就要做Heavy Duty Solver，所以我們就需要和頂級科學家進行對齊，然后去培養這樣的品味。

泓君：這點提得特別好，我了解陳天橋先生跟很多主流頂級科學家都保持著非常密切的聯系。我在想，人類的頂級科學家這個數據量的樣本是非常小的，跟用更大量的數據去訓模型來比，在里面它能貢獻的核心的比例是多少呢？

Simon：是的，從數據這個角度來說，預訓練方面確實需要大量的數據，所以才有scaling law。后訓練相對來說需求會少一些，而且現在已經有更多的方法去把一個人類的品格或者性質總結出來。比如說Meta最近也是在蒸餾員工等等，其實也是在蒸餾一些他們的性格或行為習慣。所以把人類的一些品格、性格去總結出來，還是慢慢地可以做到的，這也是一個比較新的方向。

泓君：我記得在音樂模型剛剛興起的時候，就是Suno的那一波，當時我有問做這個音樂模型的科學家，我說Suno做的歌太一般了，我覺得它就是大街上的口水歌，我說它能做出像周杰倫、Taylor Swift這些非常好的、有很好品位的歌曲嗎？他當時給我的答案是：可以，但是這個事情它不是受限于技術，它是受限于版權。因為版權的因素，他們不敢拿頂級音樂人的歌曲去訓練，所以他們用的就都是那種版權庫里面一些簡單配樂的歌。但是如果你真的用這些人類最精華、最好的歌曲去訓的話，他覺得是完全可以訓出來的。如果我們說用頂級科學家的品味去訓模型，是不是也是同樣的道理？

Simon：對的，我很同意這一點。我們人類能從一個嬰兒成為頂級科學家，這條路其實也是別人給他的這些反饋，告訴他什么是好的、什么是不好的，而且得到的數據也并沒有那么多。我們還是相信通過頂級科學家給我們的這些指導，我們可以擁有頂級科學家的品味。

泓君：我注意到，想讓AI去做科學家、自己去做發現的模型，幾乎也是所有頂級模型公司都在做的事情。比如OpenAI它已經把能自己扛下一個大型研究課題的AI研究員定成了未來幾年的頭號目標；DeepMind它創立的那天起它也是為科學而生的，現在包括Gemini，它也要去做多智能體的Co-scientist，就是共同合作開發的科學家；Anthropic的Dario也想要有一個國家級的科學家的天才。我聽上去，現在所有的頂級模型公司都想去做科學家，都想讓AI去做發現、去提出好的問題。你們進入了最激烈的戰場。你們覺得Apodex它的核心優勢是什么呢？

圖片來源：Google Deepmind

Simon：這個我很同意，但首先這個戰場的價值是很大的，因為它真正解決了一種難的科學問題，它是有很大意義的。這個世界上有那么多學科，其實你解決其中幾個問題就已經足夠說是一個很大的突破了。所以我覺得不止一家公司可以成功。

Apodex這邊的優勢，我覺得就是我們比較專注，我們不是一個聊天機器人這樣的模型，我們基本也不取悅用戶的一些特別的偏好。其實到現在大模型的整個發展，更多比拼的就是一種執行力以及整個組織架構。我們還是一個非常小的Startup culture，所以我們還是比較專注就做好Heavy Duty Solver這一件事情。

Beibin：我做所謂的AI for science這個概念已經做了有十多年了，我在讀博士之前就在做AI for science，當時主要是在醫療行業和自閉癥用AI。其實剛剛你說的現在很多公司都開始往AI for science做，我其實覺得并不是一個競爭，反而我覺得看到的是希望的曙光。

因為過去十幾年來說，科學技術或者說IT技術For science其實是沒有太多規模化的成果的。但是因為LM、Generative model和discovery model的技術的提升，我覺得在未來比如說5到10年真的做出非常有科研價值和現實意義的成果是有非常大的希望的。

這個世界上有價值的科研問題是無限的，但是我們人的精力是有限的，整個世界的GPU也是有限的。要怎么樣在有限的Resource和資源里面找到最有價值的問題去解決，這個才是最重要的一步。

所以Apodex有一個HDD團隊叫做Heavy Duty Discovery，我們是有全職的員工，跟不同的頂級科學家交流，再從幾千個科研問題里面找到最有價值的問題來做，這個可能是我們Apodex和市面上一些其他不同公司的一個比較大的區別吧。

另外我再補充一點，就是我們Apodex不是做AI for Science，只不過AI for Science跟Heavy Duty Solver有非常大的重疊的地方。

泓君：AI for Science跟Heavy Duty Solver，區別是什么？

Simon：現在有很多模型它們叫垂域模型，就他們真的是會用大量某一個具體領域數據去訓練這個模型，在這一個領域里的能力。但我們這邊的Heavy Duty Solver，我們還是一個比較通用的模型，我們會強調一些特別的元能力，包括驗證能力、分析能力、搜索，還有planning這樣的能力。這些元能力我們相信是對真正的一些難題都是有意義的這些能力，這是我們會去著重訓練的，但我們不太會針對某一個特別的領域，去放進50%的數據，這個是我們不會去做的。

泓君：剛剛Beibin提到，AI還有半年它就能完成自我的進化跟提升了，你能不能詳細地解釋一下它是什么意思？

Beibin：我說的半年是說最快可能半年之內能開始把閉環跑通。閉環的話，我覺得難度最大的其實是后訓練。如果說RSI這個“R”要跑很多很多環，但我覺得它跑完一環應該會在半年到一年之后。比如說這個模型可以在隨便一個領域，比如說Coding for material science，可以在這里面發現自己寫的代碼會有什么問題，會造很多這樣的訓練環境和訓練數據，在此基礎上自我驗證是否這道題訓練完之后是有提升，以此迭代。它這樣迭代一個loop一次循環，我覺得半年之內應該是能成功的。

因為Anthropic在這幾個月也發過一篇博客文章說大概80%的代碼是它自己寫的，但是現在有一些問題——這個問題即使是現在市面上最強的模型也沒有完全解決。但是從我們最近的一些觀察和訓練的結果來看，我覺得很快就會有一些突破了。

泓君：他指的問題是什么？就是沒有解決的問題。

Beibin：問題有很多，但我覺得讓我睡不著覺的一個問題就是，我們怎么知道這個模型在自我進化的時候它是滿足人類的需求，它沒有跑偏？這個跑偏可以是說在安全上面的跑偏，也可以是說在目標上的跑偏。如果我們只是簡單地說“你給我造一個更好的做材料科學的一個模型或者是一套算法”，它可能真的造出來了，但是它在你沒有觀測的一些點，就比如說成本，或者一些性能上，可能會有非常大的妥協。這個是我比較擔心的，因為人和人交流的時候一般說需求會說得比較的模糊，但是特別是在訓練模型的時候，如果你說得比較模糊的話，它可能就會——“我這邊碰到了一個瓶頸，但是不管怎樣，讓我換一個方法來達到這個目標”。我們要對模型這個行為進行監控，我覺得這是最大的問題。

泓君：你覺得現在某種程度上這兩個問題——一個是安全，一個是它達到目標不擇手段的這兩個能力，現在解決了嗎？

Beibin：我個人看來還是沒有解決，但我還是一個非常樂觀的人，所以我覺得應該是很快就會有解決方法了。

泓君：從你的角度來說，有哪些方向的解決方案會讓你現在覺得稍微安心一點？我能想到的一個方法是窮舉盡可能多的可能性，但這樣是不是有點笨？

Beibin：對，這里也是為什么我們還沒有完成全自動化，我其實現在做的最多的一件事情就是在每天工作時間讀這個模型的輸出和讀智能體的每一步的操作，確保它每一步的操作或者是說整一個大概都在我可以理解、可以控制的范圍之內。一旦我發現比如說它這里有一些比較蠢的行為，或者是說我感覺有一點不太對的一些解決方法，我就會趕快停下這個智能體的loop，稍微手動地改一改、調一調，讓它進一步提升。

這個就是剛剛我們說的蠢方法，但是我現在是手調，未來能不能有一個智能體代替我幫我做手調？就是現在大家提的很火也是很搞笑的一個概念——員工蒸餾。能不能把我的日常工作蒸餾到這個智能體里面，甚至蒸餾到這個模型的capability里面？我覺得這個想法雖然說大家是說笑話，但我覺得是可行的。

如果我們在三個月之內能把我蒸餾到Apodex的模型或我們的腳手架里面，其實有很多我們現在每天在做的事情——不管是讀代碼、改代碼，還是讀模型的輸出、讀智能體的輸出——都是能加速自我進化、自我迭代的流程的。

泓君：如果未來有了一個Beibin的AI agent，它可以替代你去做監督、校驗、驗證的環節，那其實相當于AI就開始自己變成了一個考官，它所有的行為都是在模仿你的行為、你的品味、你的價值觀去做類似的判斷。那是不是說，當有了這樣的一個AI以后，這一整套閉環就跑通了？這就是你說的還有半年的時間可以做到？

Beibin：RSI里的“SI”（自我提升）就跑通了，“R”可能還要再多花一兩年時間。因為現在即使我們跑通了，我們每一次迭代之后或者說每幾次迭代之后，其實還是要人為地去看有沒有recursive drift（遞歸漂移）的問題。但是我有信心幾年之內漂移的問題也可以完全解決。現在我們把這個漂移問題可以不停地縮小——假設現在普通的模型每一次可以漂移10%，如果我們能把這個漂移降到1%，那就會很好了，但是我們未來的目標是把它降到0.1%甚至0.01%，這樣我們可以非常有信心這個模型自我迭代比如說3個月、6個月之后再回來看，它有沒有超過我們monitor的周期，我們監控的周期不需要這么頻繁了。

泓君：我們剛剛提到了，現在AI自我進化最后的一道坎。一個是提出問題的品味，一個是判斷結果可不可信。一個是發現，一個是驗證，這兩個方向你們都在押注。你覺得這個品味，是誰的品味？它是科學研究員的品味，還是說它是創始人的品味？

Beibin：這是一個很好的問題。我覺得現在來說，大部分是AI研究員的品味，但是研究員的品味是直接被創始人的品味影響的。但是這一些我其實都不擔心，我們的品味就只是給它熱啟動了一下，我相信，把這個線放長一點，放到五年之后，我們的品味對這個AI模型的影響會越來越小。就像AlphaGo在最初訓練的時候是受到訓練數據或者是說棋譜的影響很大，但到AlphaZero出來之后，它已經不是從人類的品味中學習這個技術了，而是會自我品味、自我回放、自我推理來學習，它有自己獨特的一套品味。