ICML 2026 | 多智能體系統也能搭積木？Agent Primitives讓MAS走向模塊化復用

本文工作由伊利諾伊大學厄巴納 - 香檳分校（UIUC）DREAM Lab 團隊完成。通訊作者 Haohan Wang 教授為 UIUC 信息科學學院教授、DREAM Lab 負責人，研究方向包括可信人工智能、大語言模型與多智能體系統。

• 論文標題：Agent Primitives: Reusable Latent Building Blocks for Multi-Agent Systems
• 論文鏈接：https://arxiv.org/pdf/2602.03695
• 實驗室網址：https://dream.ischool.illinois.edu/

背景與動機

多智能體系統（Multi-Agent Systems，MAS）展示了令人印象深刻的能力：一個模型負責提出方案，另一個模型進行批評，還有模型承擔投票、規劃或執行。通過角色分工和多輪協作，系統能夠解決單個模型難以穩定完成的數學推理、代碼生成和知識問答任務。

一個 MAS 的例子。出自我們 team 的 TMLR survey paper：Chen, K., Wang, P., Yu, Y., Zhan, X., & Wang, H. (2025). Large language model-based data science agent: A survey. arXiv preprint arXiv:2508.02744.

但這種能力背后，存在一個容易被忽略的工程問題：今天的大多數 MAS 都是圍繞具體任務手工搭建的。面對一個新問題，研究者往往需要重新定義 Agent 角色、重新設計提示詞、重新規定消息的傳遞順序，并不斷調試協作協議。換一個數據集、一個模型，甚至一個任務表述，原來的架構就可能需要大幅修改。

這與現代深度學習的發展路徑形成了鮮明對比。構建卷積神經網絡時，我們不會為每一個視覺任務重新發明卷積；搭建 Transformer 時，也不需要從頭設計注意力機制。成熟的神經網絡之所以能夠快速演進，部分原因正是研究社區找到了卷積、注意力、殘差連接等可復用的基礎構件。

那么，多智能體系統是否也能擁有類似的抽象形式呢？是否可以把復雜的 Agent 工作流拆解成少量穩定、通用的計算單元，再像搭樂高一樣，將它們按需組合起來呢？

Agent Primitives 給出的答案是：多智能體系統也可以擁有自己的「基礎模塊」。

從「復用 Agent」到「復用協作模式」

Agent Primitives 的出發點，是重新審視 MAS 中什么才是真正應該被復用的對象。傳統方法通常把一個 Agent 看成原子單元：它擁有固定身份、固定提示詞，并在系統中承擔一個預先規定的角色。但「數學專家」、「代碼審查員」或「規劃者」這些角色，本身往往與任務高度綁定，很難直接遷移。

論文觀察到，盡管不同 MAS 的角色名稱和流程看起來五花八門，它們內部反復執行的計算模式卻高度相似：有的系統讓模型生成答案后進行自我審查；有的系統并行生成多個候選，再通過比較達成共識；還有的系統先把復雜目標拆成計劃，再逐步執行。

因此，論文不再把 Agent 當作最小構件，而是進一步向下拆解，把這些反復出現的內部計算模式抽象為 Agent Primitives，即面向大語言模型多智能體系統的、可復用的潛在構件。

基礎的 Primitives

論文實例化了三類基礎 primitive。它們并非試圖窮盡所有協作方式，而是從現有 MAS 中提煉出三種高頻、互補的計算結構。

Review Primitive：

把「生成 — 批評 — 修正」變成通用循環

Review Primitive 對應的是多智能體系統中最常見的迭代改進模式。模型先形成一個候選解答，隨后對其中的推理漏洞、事實錯誤或實現缺陷進行審查，再依據反饋更新答案。這個過程可以重復進行，直到輸出趨于穩定。

它的價值不只是增加一次「請檢查答案」的提示。通過把審查與修正封裝成獨立 primitive，系統可以在數學證明、代碼調試、開放域問答等任務中復用同一種計算結構，而無需為每個任務重新設計一套 critic 和 refiner。

Voting & Selection Primitive：

在多個候選中形成共識

當一個問題存在多條合理推理路徑時，單次生成容易受到采樣波動影響。Voting & Selection Primitive 讓系統并行探索多個候選，再對這些潛在表示進行比較、聚合和選擇。

傳統投票通常依賴最終文本答案：先把每條推理完整解碼，再通過字符串匹配或額外提示進行選擇。相比之下，該 primitive 直接作用于內部潛在表示，使系統能夠保留候選方案中更豐富的語義和推理信息，而不是只依據已經壓縮成文本的結果做決定。

Planning & Execution Primitive：

將高層規劃與底層執行分離

復雜任務往往不是「想得更多」就能解決，而是需要先確定做什么，再決定如何做。Planning & Execution Primitive 把高層任務分解和低層步驟執行拆開：規劃階段建立整體路線，執行階段圍繞子目標逐項完成，并把中間狀態繼續傳遞。

這種分離可以降低模型在長任務中同時維護全局目標與局部細節的負擔，也讓同一個規劃結構能夠適配數學推導、程序編寫與多階段問答等不同問題。

繞過自然語言瓶頸

僅僅把工作流命名為 primitive，還不足以解決現有 MAS 的根本局限。大多數多智能體系統通過自然語言交換信息：一個 Agent 把內部思考解碼成文本，另一個 Agent 再讀取文本并重新編碼。每經過一輪，信息都要經歷一次「潛在表示 — 文本 — 潛在表示」的轉換。

這種方式直觀、可讀，卻也代價高昂。文本解碼會丟失內部表示中的細粒度信息；長鏈路交互會不斷積累噪聲和誤差；重復生成與讀取大量文本，則帶來可觀的 token 開銷和推理延遲。系統中的 Agent 越多、協作輪數越長，這種通信瓶頸越明顯。

Agent Primitives 讓 primitive 內部直接通過 Key-Value Cache（KV Cache）進行潛在通信。KV Cache 原本用于保存 Transformer 已處理 token 的注意力狀態，避免自回歸生成時重復計算。論文進一步把它作為 primitive 之間傳遞內部信息的載體，使后續模塊能夠直接繼承前序計算形成的潛在狀態，而不必先將其完整解碼為自然語言。

在連接不同階段的 KV Cache 時，系統還需要處理位置編碼的一致性。論文通過旋轉位置編碼（RoPE）的重新編碼與對齊，使來自不同計算階段的緩存能夠被后續模塊正確接續。由此，多個 primitive 不只是概念上可以組合，在模型內部的計算狀態層面也能夠真正「插接」起來。

論文用實驗證明了利用自然語言處理時，長上下文中的任務遺忘：在長上下文的開頭、中間或結尾注入一條輔助指令，比較兩種通信方式能否在完成原始任務的同時保留新增約束。結果顯示，當指令位于上下文中間時，自然語言通信的指令遵循率驟降至 15.6%，而 KV Cache 通信仍達到 73.3%。

論文進一步考察了通信噪聲對多智能體協作的影響。具體而言，研究者在數學推理歷史中逐步插入來自其他問題的無關推理句子，以模擬 Agent 交互過程中不斷累積的噪聲。實驗結果顯示，當插入 3 條無關句子時，自然語言通信的準確率已下降至 73%；當噪聲增加到 10 條時，準確率進一步降至 47%。相比之下，KV Cache 通信在相同設置下仍能分別保持 100% 和 93% 的準確率。

上述結果表明，相較于自然語言通信，基于 KV Cache 的潛在通信能夠更完整地保留前序推理狀態，并顯著降低無關信息在多階段交互中的累積影響，從而提升多智能體系統在噪聲環境下的通信穩定性與推理魯棒性。

誰來決定如何搭這些「積木」？

有了可復用構件，下一個問題是：面對一個新查詢，系統應該選擇哪種 primitive，又應該以什么順序組合？如果仍然由人手工指定，架構設計的負擔并沒有真正消失。

為此，論文引入了一個自動化的 LLM Organizer。Organizer 首先分析當前查詢的性質與難點，再從 primitive 集合中選擇合適的模塊并組織執行流程。例如，需要驗證和修正的任務可以調用 Review；存在多種候選路徑的問題可以加入 Voting & Selection；長程復雜任務則更適合先使用 Planning & Execution，再對局部結果進行審查。多個 primitive 也可以串聯或嵌套，形成更完整的 MAS。

Organizer 的決策由一個輕量級 Knowledge Pool 提供參考。Knowledge Pool 記錄過去任務中成功的 primitive 配置，讓系統能夠利用已有經驗，而不是針對每個新查詢從零開始搜索。隨著成功配置不斷積累，構建 MAS 逐漸從「手工設計一條固定工作流」，轉變為「根據問題動態檢索并組合基礎構件」。

方法框圖

完整框架如下圖所示。Organizer 根據用戶查詢和 Knowledge Pool 中的歷史經驗選擇并組合 primitives；Review、Voting and Selection、Planning and Execution 分別封裝三類可復用協作模式；所有 primitive 的內部協調均通過 KV Cache 完成，并對外保留與普通 LLM Agent 一致的接口。

實驗結果

論文在數學、代碼和知識問答等八個基準、五種大語言模型骨干上進行了系統評估。實驗關注的不只是最終準確率，也同時比較 token 使用、推理延遲、相對單智能體的額外開銷，以及跨模型骨干的穩定性。

從具體任務來看，Primitives-based MAS 在數學推理、代碼生成和知識問答上均取得了穩定提升，并且沒有出現傳統 MAS 方法在部分任務上提升、在另一些任務上明顯退化的情況。更重要的是，這種性能增益并不是依靠無限增加 Agent 數量或生成更長的交互文本獲得的。綜合準確率、token 消耗、推理延遲和跨模型表現，可以將 Agent Primitives 的主要實驗結果概括如下：

這些數字揭示了一個重要事實：多智能體協作并不必然意味著數倍乃至數十倍的推理成本。傳統 MAS 的高開銷，很大一部分來自重復文本生成和冗長通信，而不完全來自解決問題本身所需的有效計算。當協作被重新組織為潛在空間中的模塊化計算后，系統可以在保留性能增益的同時，把額外成本控制在更接近單智能體推理的范圍內。

走向可組合的智能系統

今天構建 MAS，仍然很像早期編寫神經網絡：大量能力被寫死在具體架構中，每個新任務都需要重新搭建。Agent Primitives 提出了一條不同的路線 —— 把角色背后的協作規律抽離出來，封裝為潛在空間中的標準構件，再由 Organizer 根據任務動態組合。

如果這種思路進一步成熟，未來開發者面對復雜任務時，或許不必先問「我需要設計幾個 Agent、分別寫什么 prompt」，而可以先問：「這個問題需要哪些基礎計算模式，它們應該怎樣連接？」

從重復造輪子，到復用基礎模塊；從文本消息驅動的固定團隊，到潛在狀態連接的動態系統，這正是 Agent Primitives 希望推動的范式轉變。