翁荔最新博客：我們可能高估了模型，卻嚴重低估了那層“腳手架”

幾天前，前 OpenAI 安全研究副總裁、Thinking Machines Lab 聯合創始人翁荔（Lilian Weng）發布了關于“Scaling Laws, Carefully”的技術博客。

近日，她又更新了一篇名為“Harness Engineering for Self-Improvement”的最新博客[1]。這次，她將焦點聚焦于一個 AI 領域火熱討論的議題——已成為當前 AI Agent 系統的重要工程層的 Harness Engineering。

如果說 Scaling Laws 決定了一代模型的天花板有多高，那 Harness 就是決定這個模型在現實任務中可以走多穩、多遠的那層操作系統。

從翁荔這篇新博文可以看到的是，她試圖在回答一個關鍵問題：在真正能夠修改自身權重的“硬遞歸”仍十分遙遠時，真正能夠持續實現遞歸自我提升（RSI，Recursive Self-Improvement）的循環，是否可能先從模型外面的這層“腳手架”開始？

圖丨相關博客文章（來源：https://lilianweng.github.io/posts/）

Harness 的概念，可以理解成包裹在大模型外的一套系統。它不只是簡單的提示詞模板，而是決定著模型如何思考和規劃、調用哪些工具和行動、如何管理上下文和執行工作流的運行時環境。

翁荔在文章里提到，當下像 Claude Code 和 Codex 這類成功的編程智能體產品，它們的核心優勢很大程度上來自精心設計的 Harness。

一個成熟的 Harness 類似于操作系統，它能封裝復雜的邏輯，同時保持接口簡單：讓模型無需將整個工作流和所有日志都“塞”進有限的上下文窗口中，而是基于文件系統這類持久化存儲來管理狀態和產物。這種設計模式，讓智能體能夠處理更長周期的任務，在一定程度上可避免在長上下文的混亂中迷失。

（來源：https://openai.com/index/unrolling-the-codex-agent-l

沿著這個思路，翁荔系統梳理近期一系列相關的研究，總結出一條 Harness 從手工設計到自我優化的演進路線。在她看來，早期 Agentic Context Engineering 等框架的嘗試，更像是將上下文當作一個不斷演化的“操作手冊”，通過生成、反思和篩選的循環，讓模型可以從成功或失敗的軌跡中提煉出結構化的要點，進而更有效地管理記憶。

（來源：https://github.com/yasasbanukaofficial/claude-code）

更進一步地，Meta Context Engineering 將上下文管理本身也變成了一個可優化的對象，讓一個元智能體去搜索和改進管理上下文的“技能”，進而達到雙層優化的目標。

而像 Meta-Harness 這樣的工作，則直接將Harness 的代碼作為一種搜索空間，讓編碼智能體進行編寫、測試和迭代新的 Harness 代碼，甚至能生成多個候選方案，并找出其中的帕累托最優解。

這種讓智能體進行自身系統代碼改進的思路，在進化搜索領域也有所體現。比如，Darwinian G?del Machine 提出了一種讓編碼智能體能夠修改自身 Harness 代碼庫的框架，通過一個基于性能排名的選擇機制，不斷產生新的版本。

實驗表明，在 SWE-bench Verified 這類編程基準上，Darwinian G?del Machine 發現的智能體可以達到 20% 到 50% 的通過率，與手工設計的智能體相當甚至更優。

不過，翁荔也強調，這并不意味著未來只優化 Harness。更長期來看，Harness 與模型權重的聯合優化，仍可能成為遞歸自我提升的重要方向。

圖丨智能體上下文工程的框架示意圖（來源:https://arxiv.org/ab）

翁荔認為，這種“元方法論”的轉向是當前最值得關注的趨勢：我們不再只是讓模型給出更好的答案，而是在制造一套能持續改進“如何獲得更好答案”的機制。

在這個回路里，Harness 自身成為優化對象，逐步減少依賴人工編寫的啟發式規則，轉向更多可自動搜索的通用機制；工程師的角色也從編寫具體規則，轉變為設計更通用的進化框架。

不過，翁荔并沒有把這條路描繪成一條坦途。她在文章的后半部分，客觀地列出了這項研究面臨的一系列現實瓶頸。其中，最大的挑戰之一來自評估。目前的自我改進循環在那些有明確、快速、客觀評估指標的任務上效果顯著，比如寫代碼、解數學題。

圖丨元上下文工程的框架示意圖（來源：https://arxiv.org/abs/2）

但如果面對模糊的判斷，例如“這項研究是否有品味”“這個結果是否真的重要”，系統就很容易失效，甚至會為了實現通過測試的目標學會作弊，也就是所謂的“獎勵黑客”。

安全則是另一個隱患。如果允許模型自由修改系統代碼，抽象邊界和權限控制就會被打破，可能引發災難性后果。因此翁荔強調，人類的角色不是被排除在循環之外，而是需要向上移動，在環路外扮演架構師和方向指引者的角色，負責設計可編輯的邊界和進行關鍵節點的審查。

在文章的結尾，翁荔并沒有呈現邁向 RSI 的虛幻的愿景，而是列出了一份務實的挑戰清單：如何設計好的評估器、如何管理上下文和長期任務的記憶、如何解決進化中的多樣性坍縮、如何應對獎勵黑客，以及如何平衡短期任務成功與代碼庫長期健康之間的關系。

她指出了一個容易被忽視的問題：目前的優化大多基于沙盒內的短期獎勵，但現實中的軟件工程需要兼顧可維護性、向后兼容性和未來開發負擔。這些“長期成功”的指標，正是當前系統最不擅長處理的問題。

如果說上篇關于 Scaling Laws 的文章是在提醒大家，那個用于規劃數十億算力投資的公式沒有想象中可靠，那么，這篇關于 Harness 的文章則更像是在告訴公眾，通向遞歸自我提升的第一步，很可能并不是修改模型本身，而是先優化模型之外那個不起眼的 Harness。而這條路本身，也充滿了需要小心繞開的“坑”。

或許，真正的 RSI 不是突然某天模型開始修改自己，而是悄悄開始于一次次 Harness 優化中。

參考資料：

1.https://lilianweng.github.io/posts/2026-07-04-harness/

排版：劉雅坤

注：封面/首圖由AI輔助生成