76%的性能提升與模型無關？Karpathy 700次 Loop 實驗揭開 Agent 最大誤區

作者 | 四月

“今天 AI 行業最大的誤區，是大家都在逼 Agent 盡快干活，卻沒有先把底層模型和系統機制理解吃透。”

這是 前 OpenAI 聯合創始人、現 Anthropic 預訓練研究員 Andrej Karpathy 在 去年播客《AGI is still a decade away》中談到觀點。

他單刀直入，警示業界加強對于模型框架的重視。“OpenAI 早年也踩過類似的坑。在基礎能力還沒成熟時，就急著讓 Agent 去完成復雜任務，結果白白浪費了五年的時間。”

這句話放到今天，依然不過時。

過去一年，Agent 已經成了AI圈最擁擠的賽道。大家都在接模型、掛工具、堆工作流，仿佛只要再多套幾層能力，一個真正能自主干活的 Agent 就會自然冒出來。

但問題恰恰在這里：很多 Agent 看起來不是敗在“模型不夠聰明”，而是敗在模型之外那套更基礎、更無聊、也更要命的系統工程。

最近，Hugging Face 機器學習工程師 Joel Niklaus 的實驗 《Don't Train the Model,Evolve the Harness》表明：

使用同一個DeepSeek-v4-pro，不改模型權重，只優化模型外層的執行機制，就能讓 Agent 在專業任務中的表現大幅提升（pooled score 從3.5% 拉升到 80.1%）。

而 Karpathy 斬獲 9萬 Star 的開源項目 AutoResearch （Loop Cycle） 則進一步說明，AI 真正的價值不在一次性生成答案，而在“提出修改、運行實驗、自動評估、保留進步”的循環里。

一次答對靠的是模型本身，而持續迭代則靠模型和外層執行系統的組合能力。

只優化“外殼”，性能也能狂飆？

如果你還在死磕提示詞，或者抱怨開源模型不夠聰明，Hugging Face 最近的這個實驗可能會顛覆你的認知。

為了探究 Agent 性能的瓶頸到底卡在哪里，Niklaus 拿出開源模型 DeepSeek-V4-Pro，在特定法律 Agent 基準測試上進行實驗。

DeepSeek-V4-Pro 在原始 LAB harness 下的任務表現。不同法律實踐領域和任務之間差異明顯，說明模型表現首先受外層執行機制影響，而不只是裸模型能力。

Niklaus做了一件極其克制的事：完全凍結模型的權重，也就是不進行任何微調或繼續訓練，唯一的變量，是包裹在模型外層的代碼和執行邏輯，也就是所謂的 Agent Harness（外層執行機制）。

令人哭笑不得的是，在最初的測試里，這個模型在某些外層機制下的得分竟然是 0%。研究團隊挖出真相：模型的法律推理過程其實全對，但它總是把結果存錯了文件名，導致測試程序根本讀不到結果。

這意味著，0 分從來不是在測模型的智力，而是在測 Harness 是否有效。

既然問題出在“外殼”上，只要優化它，性能能提升多少呢？

實驗數據給出了極其震撼的答案。同一個 DeepSeek-V4-Pro、同一批任務、同一個評測器，僅僅因為換了五種不同的外層執行機制，pooled score（綜合得分）竟然在 3.5% 到 80.1% 之間劇烈波動：

從 mini-swe-agent 的 3.5%、Goose 的 23.2%、Pi 的 45.4%，一路拉到原始 LAB harness 的 63.4%。

不同外層執行機制在 held-out test 任務上的表現對比，波動區間高達 76 分。

經過約 22 輪的代碼自動迭代優化后，最終在 100 個 held-out test 任務上，pooled score 從原始 LAB harness 的 63.4% 提升到了 80.1%（提升 16.7 個百分點），all-pass rate 也從 0% 提升到 5.0%。

這個完全沒動過權重的開源模型，僅靠優化 Harness，其表現就追平了業界頂級的閉源模型 Claude Sonnet 4.6，而運行成本僅為原來的 1/7。

更關鍵的是，這套優化好的 Harness 遷移到同族小模型 DeepSeek-V4-Flash 上，依然帶來了 14.4 分的提升。

這證明：代碼層面的執行機制，遠比 prompt提示詞調優更容易沉淀和跨模型遷移。

那么，到底什么是 Harness？

前 Lightning AI 工程師、DailyDoseOfDS 聯合創始人 Akshay 曾這樣剖析：

一個原始的 LLM 只是一個沒有內存或硬盤的 CPU；如果不是模型本身，那就是 Harness——它是管理內存、I/O 和驅動程序的操作系統。

他認為，生產級 Harness 應當包含 12 個核心組件，涵蓋從流程編排、工具調用、分層存儲到上下文管理和錯誤處理等各個環節。

例如，常見的“上下文腐爛”問題：當模型將關鍵信息置于上下文窗口中間時，性能會直接下降 30% 以上。

成熟的 Harness 已經擁有一套完整的工程方法來解決這個問題——壓縮歷史記錄、屏蔽舊輸出、動態獲取和代理摘要，其核心在于用最少數量的高信息密度Token獲得最佳結果。

基于上述實驗，Niklaus 得出了一個核心結論：

Benchmark 測到的永遠不是裸模型，而是“模型 + Harness”的組合能力。 最大的性能改進往往來自于簡單的文件處理等自動化步驟，而非消耗大量 Token 去修改提示詞。

那么，這是否意味著未來我們無需再訓練模型，只需堆疊 Harness 即可？

答案并非如此。Harness 帶來的提升終有極限，剩余的差距仍需模型底層能力來填補。但眼下的核心問題在于：大多數人甚至還沒有構建出一個及格的 Harness，就急于堆疊更大的模型。

當你連測試工具是否存在漏洞都無從知曉時，你將永遠無法確定性能瓶頸是出在模型本身，還是出在你那漏洞百出的外層代碼上。

700次自動迭代、性能躍升5倍

既然模型之外的執行機制如此重要，具體該怎么搭一個能持續進化的 Agent？

AI 研究員 Codila 對 Karpathy 斬獲 9 萬 Star 的 AutoResearch 項目進行了二次提煉，將 630 行開源代碼濃縮為五步走的“Loop Engineering”方法論。

這套方法目前在 X 上獲得了超 200 萬的閱讀量，因為它戳中了一個核心痛點：不要指望 Agent 一次做對，而在低成本的持續試錯中逼近最優解。

這套循環的邏輯看似極簡:

1. 基于一個精細調整的模型，編寫一份文檔，告訴智能體要探索哪些方向以及要遵循哪些約束條件。

2. 僅允許智能體修改訓練腳本；評估和評分腳本已鎖定，無法修改。因為這可以防止智能體為了獲得更高分數而擅自降低標準。

3. 讓Agent進入以下循環運行：提出變更 → 訓練 → 評估 → 保留好的、改進并舍棄不好的改進

Karpathy 用他憑借 20 年經驗手動調整的模型跑了兩天，結果令人咋舌：

Agent 自動運行了 700 次實驗，找出了 20 項連他自己都忽略的代碼改進。 比如，注意力機制中遺漏的一個標量乘數，導致注意力過度分散到多個“頭”上，這種需要海量耐心的精細優化，人類在十幾輪后就會筋疲力盡，但 Agent 不會。

Shopify 首席執行官 Tobi Lutke 連夜用內部模型進行了測試，醒來后發現質量提高了 19%，而優化后的模型大小也減少了一半。

而要使這個循環有效運作，核心不在于智能體有多聰明，而在于三個基本要素是否做對了：

• 驗證器：自動判斷結果好壞的機制。沒有它，Agent 就是在給自己批作業，跑一萬次也毫無意義。

• 狀態文件：記錄每次嘗試的結果，避免頁面關閉或進程重啟后從頭再來。

• 停止條件：達到目標或撞到最大輪次必須停止，否則會持續運行燒光你的 Token 預算。

當然，不是所有任務都值得大動干戈建一套 Loop 循環。Codila 提出了一個“四項全能”的適用標準：

• 一是任務高頻（至少每周重復一次，否則收不回構建成本，一次性任務用個好提示詞就夠了）；

• 二是驗證可自動化（無需人工干預讀取和修復）；

• 三是 Token 預算能消化冗余（循環必然伴隨大量重試，小預算扛不住）；

• 四是 Agent 能訪問真實的運行環境（不能閉著眼睛盲目迭代）。

請注意，這四個條件缺一不可，否則成本將遠超收益。

順著這條思路，研究人員進一步提出了“雙層自動研究（Bilevel Autoresearch）”，詳情見論文：《Bilevel Autoresearch: Meta-Autoresearching Itself 》。

他們在原有循環外再套了一層循環：內層循環負責優化模型，外層循環則負責優化內層循環的搜索邏輯。

結果同樣令人震撼：

在使用同一個大型模型的情況下，性能比 Karpathy 的基準測試結果提升了整整 5 倍，且所有提升均來自架構的改進。

外層循環的關鍵作用在于打破了 LLM 的“思維定勢”：內層循環極易陷入模型先驗認知的搜索模式，即使策略失效也會反復嘗試；而外層循環強制模型去探索它本能回避的方向，從而榨取出超越模型自身認知的潛力。

然而，需要警惕的是，Loop 自轉也會帶來兩個隱性代價：

一是理解債：循環生成的代碼并非人工一行行敲出，倉庫代碼與開發者真正理解的代碼差距越來越大。一旦系統崩潰，Debug 成本極高。

二是認知讓渡：循環一旦跑通，人極易停止思考。同樣的工具，有人用來加速已理解的工作，有人卻用來逃避理解工作，最終結果天差地別。

當試錯成本趨近于零

回到開頭 Karpathy 的警示。為什么“逼 Agent 一次做對”是個偽命題？

因為現實世界的問題，從來不是靠一次靈感迸發就能解決的。

Hugging Face 的實驗和 Karpathy 的 Loop Cycle，其實共同指向了 AI 發展的一個底層邏輯變遷：真正的 AGI 不是靠模型單點爆破出來的，而是靠系統工程把“試錯的成本”無限降低。

當試錯成本足夠低，Agent 就能像一個不知疲倦的實習生，在成百上千次的碰壁中自動糾偏、自動成長。我們過去總在糾結“馬（模型）跑得夠不夠快”，卻忘了給它套上“車架和方向盤（Harness）”，更忘了給它設定“導航和剎車（Loop 的驗證與停止條件）”。

這不僅是工程方法論的升級，也是對人類認知的考驗。當外層機制開始自轉，人最容易犯的錯誤就是“認知讓渡”——用工具來逃避思考，而不是加速思考。

落到我們個體用戶層面，AI真正的護城河，從來不在于你用了多大的模型，而在于你能否構建一套讓模型在真實世界中不斷進化的系統，同時保持人類對系統底層邏輯的清醒掌控。

參考：

1.https://huggingface.co/spaces/joelniklaus/harness-optimization#the-dev-frontier-moved-in-a-few-big-steps

2.https://x.com/0xCodila/status/2072329149520232639

聲明：本文為 AI 前線原創，不代表平臺觀點，也不構成投資建議，未經許可禁止轉載。

會議推薦

大會限時早鳥票享 8 折專屬優惠，現在報名立減 1160，更多詳情可掃碼或聯系票務經理 13269078023 進行咨詢。

今日薦文

你也「在看」嗎？