翁荔新博客提出「自進化先從Harness開始」，DeepSeek崔添翼轉發附議

聽雨 發自 凹非寺量子位 | 公眾號 QbitAI

前OpenAI安全副總裁、Thinking Machines Lab聯創翁荔，又發新博客了。

這回討論的是AI自進化，她提出了一條現實路徑：

不一定從模型直接改寫自己的權重開始，而是先從Harness開始

這篇博客題為《Harness Engineering for Self-Improvement》。

其中，Harness可以簡單理解為模型外部的運行系統，決定模型如何調用工具、管理上下文、讀寫文件、拆分任務、調用子Agent、驗證結果，以及從失敗中復盤。

DeepSeek研究員崔添翼也第一時間轉發了，還畫了重點：

Harness方向的自進化，和模型方向的自進化一樣，都是非?？赡艹龀晒姆较颉?/strong>

他還提出，Skill就是Harness自進化中比較初級的一種形式：從 prompt層面進行自進化。

博客原文信息量巨巨巨大，請各位看官做好心理準備~

自進化可能先發生在Harness層

翁荔這篇博客討論的核心概念，是RSI（Recursive Self-Improvement），遞歸自我改進

這個概念最早帶有很強的AGI色彩，指的是一個智能系統能夠改進產生自身智能的機制，從而產生更強的后繼系統。

但翁荔在這篇博客里，把這個問題拆得更工程化。

在今天的AI系統里，自我改進未必只意味著模型直接改寫自己的權重。

它也可能意味著，模型改進訓練流程、研究流程和部署系統，進而幫助下一代系統在真實任務中表現得更好。

AI生成

而Harness，就是部署系統里最關鍵的一層。

過去談Agent，常見說法是「LLM+記憶+工具+規劃+行動」。

但在翁荔看來，Harness已經不只是早期Agent框架里的幾個模塊，而是更接近運行時和軟件系統設計。

它決定模型如何觀察環境、如何行動、如何管理上下文、如何保存狀態、如何評估結果，也決定模型能不能在一個長任務里持續迭代。

所以她的判斷是：近期更可行的自進化路徑，可能并非模型直接重寫自己的大腦，而是模型開始優化自己獲得答案的方式

從Context Engineering到Self-Harness，優化層層遞進

翁荔梳理了最近一批相關研究，可以看到一個很清楚的趨勢：

優化對象正在從上下文、工作流，一步步深入到Harness本身

遞進鏈條是：prompt→structured context→workflow→harness code→optimizer code。

隨著模型越來越強，能被優化的對象也在變得更抽象、更通用。

第一層是Context Engineering

最基礎的問題是：Agent做長任務時，上下文塞得越來越多，很快就會失控。

翁荔在這里提到兩個代表性工作：ACEMCE

ACE（Agentic Context Engineering），把上下文當成一本會持續更新的「操作手冊」，而不是一段越堆越長的提示詞。

它靠三個角色配合：Generator負責生成任務軌跡，Reflector從成功和失敗的軌跡里提煉要點，Curator把這些要點整理成結構化的條目、增量更新進手冊里。

MCE（Meta Context Engineering），則更進一步。

它把「怎么管理上下文」和「上下文里具體放什么」拆成兩層優化：外層進化管理上下文的技能，內層再用這個技能去優化具體任務的上下文。

翁荔認為，相比ACE還需要人工設計更新規則，MCE朝「自我管理的記憶」又邁進了一步。

第二層是Workflow Design，解決的是「模型該怎么干活」。

翁荔舉了幾個例子：

AI Scientist搭了一條從提出想法、寫代碼、跑實驗、分析結果，到寫論文、同行評審的完整科研流水線。

ADAS更進一步，把「設計Agent工作流」本身當成一個可以被搜索的優化問題，讓一個元智能體不斷提出新的工作流設計并接受評估。

AFlow則把工作流表示成一張圖，用蒙特卡洛樹搜索去尋找更優的圖結構。

這條線的遞進在于：一開始是人類把任務流程工程化，后來是模型參與設計流程，再后來，流程結構本身也進入搜索空間。

也就是說，優化對象不再只是單個prompt，而是整個Agent如何組織行動。

第三層是Self-Improving Harness

到這一層，模型不只是使用Harness完成任務，而是開始分析Harness哪里不好，并提出對Harness的修改。

翁荔重點提到Self-Harness這類工作，它的循環非常清楚。

第一步是Weakness Mining（弱點挖掘）。

系統先收集Agent執行任務時留下的軌跡，包括工具調用、錯誤日志、失敗結果、驗證器反饋等。然后從中挖出反復出現的失敗模式。

比如，模型總是在某類任務里遺漏文件，總是在某種測試失敗后重復嘗試無效修復，或者總是在上下文變長后丟掉關鍵約束。

第二步是Harness Proposal（Harness提案）。

模型基于這些失敗模式，提出對Harness的小范圍修改。

重點在于「小范圍」和「可驗證」。

模型能看到的信息包括：當前Harness里哪些地方可以改、具體的失敗模式、哪些「正確行為」必須保留、以及之前已經嘗試過的修改記錄。

提案要盡量聚焦在能被小范圍改動解決的、可復現的問題上，而且不同提案之間要保持差異化。

第三步是Proposal Validation（提案驗證）。

候選修改不能直接合入，而是要經過測試驗證。只有確認它確實提升表現，并且沒有引入明顯回歸，才會成為下一版Harness的一部分。

翁荔提到，這套流程在MiniMax M2.5、Qwen3.5、GLM-5等不同模型上跑Terminal-Bench-2時，確實學出了針對不同模型薄弱點、各不相同的Harness配置。

不過她也直接指出隱患：一旦允許程序自己修改系統層代碼，抽象邊界就有被打破的風險，權限控制和安全層必須留在這個循環之外，reward hacking的老問題依然存在。

此外，翁荔還進一步提到了Evolutionary Search（進化搜索）。

如果說Self-Harness更像是從失敗中修補自己的工作系統，那么進化搜索則是把Harness直接變成一個可搜索對象。

它的邏輯更像自然選擇：

先生成多個候選Harness，讓模型基于已有版本做修改，再用benchmark或驗證器評估表現，留下更好的版本，淘汰較差版本，然后繼續下一輪。

她還特別提到DGM（Darwin G?del Machine）：直接讓一個coding agent去修改自己的Harness代碼倉庫本身。

實驗里，用Claude 3.5 Sonnet做基座模型，從簡單的初始配置出發，DGM進化出來的agent效果驚人：

• 在SWE-bench Verified上的表現從20%提升到50%；
• 在Polyglot上從14.2%提升到30.7%；
• 達到甚至超過了人工設計的agent。

這說明，即使不動模型權重，Harness本身也已經可以成為能力提升的搜索空間。

不過，這類方法更適合代碼、算法、GPU kernel等可自動評估的任務。

如果任務涉及科研品味、產品長期質量、復雜組織協作，評估就會慢得多，也模糊得多。

Harness會變強，但依然有邊界

翁荔并不認為Harness是替代模型訓練的路線，她的判斷更像是二者互相強化

足夠成熟的Harness能讓模型自我改進的研究循環跑起來；而更聰明的模型又能防止Harness被過度設計、保持系統的可持續性。

長期看，Harness的很多改進最終可能被「內化」進模型本身的行為里——就像提示詞工程的手動技巧，隨著模型的指令跟隨和推理能力變強而逐漸沒那么重要了。

但「說清楚目標、約束、上下文、評估標準」這件事本身，從來沒有消失過。

不過，她也沒有回避，實現RSI這條路上目前存在的瓶頸：

評估器太弱太模糊?，F在能跑通自我改進循環的，基本都是寫代碼、解數學題這類有明確、快速、客觀反饋的任務。而研究品味、創新性、長期科研價值，幾乎沒法量化。

上下文和記憶的生命周期問題。任務越自主、越獨立，需要管理的記憶就越多，這件事翁荔認為未來可能會成為智能本身的一部分，而不只是停留在軟件系統層面。

AI生成

負面結果容易被忽視。研究者天然更愿意發表成功的結果，模型在海量以成功案例為主的數據上訓練，可能不太擅長判斷什么時候該放棄一個假設、該如實報告一次失敗。

多樣性坍縮。進化和強化學習類的循環容易反復利用已知的高回報模式，如果沒有額外機制去防止，種群會逐漸坍縮成同一種方案的變體。

Reward hacking。自我改進循環會優化給定的任何信號——獎勵來自單元測試，模型可能就去過擬合測試；來自評委模型，就可能學會針對性地「討好」評委；來自榜單分數，就可能去利用榜單本身的漏洞。

長期健康和短期成功之間的矛盾。以coding agent為例，它們已經能實實在在提升軟件工程的日常生產力，但優化目標大多還是短期的——能不能把眼前任務做完，而非能不能保護一個由成百上千工程師共同維護的代碼庫的長期健康。

可維護性、權責邊界、遷移成本、未來的調試負擔，這些標準的沙盒訓練基本還照顧不到。

人類的角色。翁荔的認為：人類不會被踢出循環，而是要往「環外」移動——在合適的時機、合適的抽象層級上提供監督，這也是系統設計時需要考慮清楚的問題。

過去，大模型競爭主要看參數、數據、算力和推理能力。

但現在，另一個變量已經越來越難被忽略：Harness。

同一個模型，放進不同Harness里，可能表現出完全不同的能力——這件事已然從少數人的觀察成為了行業共識。

從翁荔這篇博客也能看出，「AI自進化更現實的工程入口是什么」，將會是下一階段要討論的重點。

博客原文：https://lilianweng.github.io/posts/2026-07-04-harness/

參考鏈接：https://x.com/tianyi/status/2074475185957380379