ACL 2026 SAC Highlight｜機器學習Agent的真正瓶頸，不是寫代碼，而是判斷哪個實驗值得跑

本論文由浙江大學與螞蟻集團聯合實驗室完成，并獲得 ACL26 SAC Highlight 獎。本文作者：鄭景升，浙江大學軟件學院在讀碩士生，研究方向為 LLM 智能體。本工作在螞蟻實習期間完成。

現在的 AI 不僅能聊天，已經可以獨立做機器學習實驗了 —— 拿到任務，自己寫訓練代碼、自己跑實驗、看結果、改方案，循環往復直到拿出更好的模型。

Anthropic 的 Claude Code 負責人 Boris Cherny 有句話很能概括這種新范式：“我不再 prompt Claude 了，我寫的是跑起來去 prompt Claude 的循環。這種被稱作 loop engineering 的思路，正在成為 Agent 開發的主流 —— 不再一問一答地驅動模型， 而是設計一套自動循環， 讓 Agent 在 “生成→執行→反饋→改進” 里自己迭代。

但真正卡住機器學習 Agent 的，不是寫代碼， 也不是循環本身， 而是循環里 “執行” 這一步太貴了。

一個機器學習方案好不好， 必須完整跑一遍才知道 —— 預處理、訓練、評估整套流程，一次可能要花 9 個小時。Agent 也許能一口氣寫出十套方案， 可執行預算只夠跑一套， 剩下九套都是浪費 。換言之，機器學習 Agent 是被 “執行時間” 鎖死的： 它缺的不是生成方案的能力， 也不是跑循環的能力， 而是 “動手前先判斷哪個值得做” 的能力 。

浙江大學和螞蟻集團的一篇新論文， 針對這個問題給出了硬數據：大模型在不跑任何代碼的情況下，已經能猜中哪個機器學習方案更有效 —— 準確率 61.5%， 明顯高于隨機和復雜度啟發式 。把這種 “未跑先知” 的能力接進 Agent 后， 搜索效率提速 6 倍， 最終性能也提升了 6%。

這篇論文叫《Can We Predict Before Executing Machine Learning Agents？》， 已被 ACL 2026 接收為 SAC Highlight。

• 論文地址：https://huggingface.co/papers/2601.05930
• 代碼：https://github.com/zjunlp/predict-before-execute
• 數據：https://huggingface.co/datasets/zjunlp/PredictBeforeExecute

一 、真正被卡住的，不是 “寫”， 而是 “判斷”

當前主流的機器學習 Agent 遵循一個很自然的范式：生成方案→執行→看反饋→改進→再來一遍 。這套 Generate-Execute-Feedback 循環本身沒有問題，問題在于 “執行” 這一步的代價。

和做數學題、寫代碼不一樣，機器學習方案的反饋來自一整套訓練流程 —— 數據預處理、模型訓練、驗證評估 。在 MLE-Bench 這樣的基準上， 一次執行可能耗時數小時 。Agent 也許能輕而易舉地生成許多候選方案 ，但沒有足夠的執行預算逐個驗證。

這就形成了一個瓶頸：Agent 的探索空間被物理執行時間硬性限死 。它能想到 10 條路 ，但只跑得起 1 條。

圖 1：From Execution to Inference。傳統 ML Agent 靠數小時物理執行獲得反饋， 本文用 LLM 推理將判斷前置到執行之前。

研究者注意到一個對人來說很顯然、對 Agent 卻缺失的事實：人類機器學習專家在動手前，常常已經能排除掉一些明顯不合適的方案。面對小尺寸灰度醫學圖像，不會盲目套用需要大幅 resize 的大型 ViT；面對強類別不平衡的數據，不會忽略采樣和損失設計。這種 “執行前的預判”，本質上是一種內化的執行經驗。

論文想把這種人類專家才有的 “未卜先知” ，移植給 LLM。

二 、從一個問題，到一個任務

論文形式化提出了 Data-centric Solution Preference 任務。給定一個機器學習任務，模型會看到：任務描述、經過驗證的數據分析報告、兩個候選方案的代碼，然后需要輸出哪個方案更可能取勝，并給出置信度。

這個任務有一個容易踩的坑：它不是在判斷代碼 “復雜不復雜”。一個更長、用了更先進模型、pipeline 更華麗的代碼，并不一定在當前數據上跑得更好。真正要判斷的是算法設計和數據特征是否匹配 —— 數據有沒有類別不平衡？圖像分辨率夠不夠？文本有多短？訓練集和測試集分布穩不穩定？

也就是說，模型不能只看代碼，必須先 “讀懂數據”。

圖 3：框架總覽。從任務定義、軌跡收集、數據篩選， 到 Veri?ed Data Report 增強， 再到 FOREAGENT 的 Predict-then-Verify 應用。

三、讓模型先讀懂數據

論文發現，如果只給 LLM 候選代碼，模型容易退化成淺層判斷 —— 傾向于選更長、更 “高級” 的方案。但機器學習方案的好壞強依賴數據，脫離數據的代碼判斷意義有限。

為此，論文引入了 Veri?ed Data Analysis Report，通過三步生成：

1. Pro?ling：讓 LLM 寫數據分析代碼，提取數據規模、分布、缺失值、圖像尺寸、文本長度等統計信息；
2. Veri?cation：執行分析代碼，由專家檢查日志，保證統計結果可靠；
3. Verbalization：把原始統計數字轉譯成結構化、語義化的數據分析報告。

這一步的關鍵在于：原始數字對 LLM 來說往往是高熵符號，而語義化報告能把數字轉成接近人類建模經驗的描述 —— 數據有什么模式、這些模式為什么重要、會如何影響模型設計。模型不是在 “猜分數”，而是在建立一條從數據特征到方案適配性的因果鏈：

數據特征 → 建模風險 / 優勢 → 方案適配性 → 預測哪個方案更可能勝出。

四、18438 對真實方案，驗證 LLM 能不能 “未跑先知”

為了讓這個問題可評估，研究者構建了一個大規模 Preference Corpus。數據來自兩個真實 ML Agent——AIDE 和 AutoMind 在 MLE-Bench 上執行任務產生的完整軌跡，覆蓋 CV、NLP、Data Science 三大領域共 26 個任務。經過去重、taxonomy 標注、專家采樣，最終得到 895 個高質量實例和 18438 對方案比較。

表 1：Preference Corpus 統計。26 個任務橫跨 CV、NLP、Data Science 三大領域，共 895 個高質量實例、18438 對比較。

這批數據的一個特點是：它不是合成的玩具代碼， 而是真實 Agent 在探索中產生的完整 work?ow，包含大量 “邏輯不完美但能跑”、“看起來復雜但未必適配數據” 的中間態方案。判斷誰更好，不能只看語法，也不能只看模型大小，必須理解數據 、代碼和指標之間的關系。

主實驗給出了明確的肯定回答：LLM 確實具備顯著高于隨機和啟發式基線的執行前預測能力。

表 2：主實驗結果。DeepSeek-V3.2（Thinking 模式）平均準確率 61.5%，GPT-5.1 為 58.8%，均顯著高于隨機基線（50.0%）和復雜度啟發式基線（50.8%）。

• DeepSeek-V3.2 Thinking 達到 61.5% 平均準確率；
• GPT-5.1 達到 58.8%；
• 隨機基線 50.0%， 復雜度啟發式基線僅 50.8%。

復雜度啟發式只有 50.8% 這一點很關鍵 —— 它說明 “復雜方案更好” 這種偏見本身幾乎沒有預測力。模型那十幾個百分點的提升，來自真正從靜態輸入中提取到的、與執行結果相關的信號。

論文從多個角度拆解了這種預測能力的來源和邊界。

數據表示影響很大。只給代碼時模型已經能超過隨機，但加入數據上下文后進一步提升，而把原始統計轉成語義化 Veri?ed Data Report 后效果最好。論文還做了一個對照實驗：把代碼配上無關的數據上下文（Context Mismatch），準確率幾乎沒有提升 —— 這反過來說明，預測成功靠的不是多給一點信息，而是信息和代碼之間真正的語義對齊。

推理模式重要。Thinking/CoT 模式整體優于直接回答。這類任務需要模型顯式展開判斷：先理解數據，再分析代碼，最后比較二者是否匹配。

但預測能力不隨參數規模簡單上升。在 Qwen 系列從 4B 到 1T 的測試中，30B 之后性能就進入平臺期，1T 相對 30B 幾乎沒有增益。這說明執行前預測不是一個純粹的參數規模問題，它依賴的是模型的數據語義理解、代碼分析和任務歸因能力，而非單純的 “更大就更好”。

圖 4：世界模型能力分析。從數據表示、領域敏感性、規模律、推理模式、置信度校準到復雜度區分能力，從 六個維度拆解預測能力的來源與邊界。

置信度校準良好。模型自報置信度越高，預測準確率整體也越高。這一點對后續落地很關鍵 —— 預測模型不需要完全替代執行，只需要在高置信時幫 Agent 過濾掉低價值候選，在低置信時老實交給執行。

但這不是一個已經解決的問題。當任務從兩兩比較擴展到全局排名（Listwise Ranking），Accuracy@1 從 61.3% 掉到 31.1%—— 模型目前只擅長成對比較，還缺乏全局判別力。論文還揭示了一個更值得玩味的事實：即便真實執行，驗證指標對測試性能的預測準確率也只有 72.2%（存在 Validation-Test Gap）。這意味著 “跑代碼” 本身也不是完美信號 —— 隱式預測的價值在于，它用幾秒推理提供了一個和數小時執行互補的、語義層面的判斷維度。

五、FOREAGENT：把 “想” 變成執行前的篩選器

基于上述發現，論文進一步提出 FOREAGENT。

傳統 Agent 是 Execute-then-Learn：生成一個方案，執行它，根據結果學習下一步。FOREAGENT 改成 Predict-then-Verify：并行生成大量候選→用隱式世界模型預測優劣→根據置信度過濾→只執行排名靠前的 Top-k 進行驗證。真實執行不再是每個候選的必經步驟， LLM 推理成了執行前的篩選器。

圖 4：FOREAGENT 性能。在 5 個 AI4Science 任務上， FOREAGENT 實現 6 倍加速、3.2 倍更多節點探索， Beat Ratio 平均提升 6%。

在 MLE-Bench 的 5 個 AI4Science 任務（覆蓋 Biology、Physics、Geoscience、Ecology、Medicine）上， FOREAGENT 實現了：

• 平均 6 倍加速；
• 平均 3.2 倍更多節點探索；
• Beat Ratio 提升 + 6%。

具體配置上，每輪并行生成 m=10 個候選，用置信度門檻 c=0.7 做 gating，最終只執行 Top-k（主實驗 k=1）。這組數字說明， 執行前預測不只是評測榜單上的一個指標， 它能真正改變 Agent 的搜索效率——用更少的物理執行， 探索更大的空間。

六、這件事的意義和邊界

這項工作的意義不只是讓 Agent 少跑幾次實驗。它把 ML Agent 的反饋機制從 “完全依賴外部執行” 推進到 “可以用內部預測做預篩選”。對于自動科研、AutoML、AI4Science 這類高成本任務， 這種能力可能很關鍵：如果 Agent 能在執行前排除大量低價值候選， 就能把有限的計算預算投向更有希望的方向 ；如果這些執行軌跡進一步用來訓練 reward model， 也可能加速強化學習式的 Agent 優化。

但 61.5% 的準確率也說明這遠未到終點。論文坦誠討論了當前的邊界：數據集雖覆蓋 26 個任務，18438 對比較 ，但分布不完全均衡，分類和回歸等主流范式占比高，音頻分類 、Tabular Grading 等長尾任務樣本少；CV 和 NLP 的 Veri?ed Data Report 主要依賴元數據和統計分析，還沒引入更深層的多模態分析； FOREAGENT 本身采用了相對保守的 Predict-then-Verify 實現，沒有充分探索更復雜的推理時搜索策略 —— 換言之，論文給出的結果更像這個方向的下界， 而不是終點。

那個 72.2% 的 Validation-Test Gap 留下的啟示也值得強調：你以為 “跑一遍代碼” 就是鐵標準，但其實驗證集和測試集分布有差異，驗證集上分數高，換到測試集上也只有 72.2% 的情況站得住。換句話說， 執行前預測并不是 “跑不起代碼才退而求其次的便宜貨”，它和跑代碼走的根本不是一條路：跑代碼看的是 “這批數據上跑多少分”，靠的是經驗；LLM 預測看的是 “數據長什么樣、代碼邏輯搭不搭”，靠的是理解。兩者各有盲區，正好互補。

未來的 ML Agent，不應只是更會生成代碼，也應該更會在執行前判斷 —— 哪些實驗，值得做。

論文標題：Can We Predict Before Executing Machine Learning Agents？

會議：ACL 2026 SAC Highlight

作者：Jingsheng Zheng, Jintian Zhang, Yujie Luo, Yuren Mao, Yunjun Gao, Lun Du, Huajun Chen, Ningyu Zhang

機構 ：Zhejiang University, Ant Group, Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph

論文地址：https://huggingface.co/papers/2601.05930

代碼與數據：https://github.com/zjunlp/predict-before-execute

數據：https://huggingface.co/datasets/zjunlp/PredictBeforeExecute