AI智能體不是越多越強(qiáng)：信息冗余構(gòu)成了LLM Agent Scaling的瓶頸

近年來，基于大語言模型的多智能體系統(tǒng)（LLM-based Multi-Agent Systems, MAS）被廣泛用于復(fù)雜推理任務(wù)。典型做法是讓多個(gè) agent 獨(dú)立生成并通過投票或辯論等機(jī)制聚合決策，從而在算術(shù)推理、常識推斷與專業(yè)問答中提升準(zhǔn)確率。

隨著 test-time compute（推理時(shí)計(jì)算）成為常見的能力提升手段，一個(gè)自然的問題隨之出現(xiàn)：MAS 是否能通過不斷增加 agent 數(shù)量而持續(xù)變強(qiáng)？直覺上，這個(gè)設(shè)想似乎成立：類似 ensemble 或 self-consistency 的「多次采樣 + 聚合」往往能提高覆蓋正確答案的概率。

來自上海交通大學(xué)、UC Berkeley、加州理工學(xué)院以及約翰?霍普金斯大學(xué)的聯(lián)合研究論文Understanding Agent Scaling in LLM-Based Multi-Agent Systems via Diversity 表明：多智能體系統(tǒng)「擴(kuò)不動(dòng)」的真正原因，并不是 Agent 不夠多，而是信息冗余。 系統(tǒng)實(shí)驗(yàn)發(fā)現(xiàn)，單純堆規(guī)模收益迅速枯竭，而引入多樣性可以顯著延緩飽和、以更少的 Agent 獲得更強(qiáng)的性能。

• 論文標(biāo)題：Understanding Agent Scaling in LLM-Based Multi-Agent Systems via Diversity
• 論文地址：https://arxiv.org/pdf/2602.03794
• GitHub 代碼：https://github.com/SafeRL-Lab/Agent-Scaling

同質(zhì)擴(kuò)展的失效：

規(guī)模帶來的收益迅速飽和

論文首先直接檢驗(yàn)「增加 agent 數(shù)是否有效」。在同質(zhì)設(shè)置下，所有 agent 共享相同底座模型與系統(tǒng)提示（無 persona 差異，配置一致），采用兩類常見協(xié)作機(jī)制：

• Vote：單輪獨(dú)立生成后多數(shù)投票；
• Debate：多輪交互后再給出最終答案（交互 4 輪）。

僅改變 agent 數(shù) N，在 7 個(gè)基準(zhǔn)任務(wù)（GSM8K、ARC、Formal Logic、TruthfulQA、HellaSwag、WinoGrande、Pro Medicine）上評估。

結(jié)果在不同任務(wù)與模型上高度一致：當(dāng) N 從 1 增至 2 或 4 時(shí)，性能通常明顯提升；但繼續(xù)增加 N 后，準(zhǔn)確率迅速進(jìn)入平臺期，邊際收益接近 0，部分設(shè)置甚至出現(xiàn)回落。這說明：在同質(zhì)配置下，單純堆疊更多 agent calls 并不能持續(xù)注入新的有效信息。

多樣性帶來的對照現(xiàn)象：

少量異質(zhì) agent 勝過大規(guī)模同質(zhì)系統(tǒng)

與同質(zhì)擴(kuò)展的快速飽和形成鮮明對比的是，多樣性配置下的實(shí)驗(yàn)結(jié)果。論文進(jìn)一步比較了兩類系統(tǒng)：一類由同一模型多次獨(dú)立運(yùn)行構(gòu)成，另一類則由不同 backbone 模型或不同 persona prompt 組成。在匹配計(jì)算預(yù)算（固定總 agent calls）的前提下，異質(zhì)系統(tǒng)在同預(yù)算下整體更高，并且在更大的 N 上仍能保持增益。

為了更系統(tǒng)地理解這一現(xiàn)象，作者在實(shí)驗(yàn)中將多樣性拆解為不同來源，包括 persona 多樣性、模型多樣性，以及二者結(jié)合的完全多樣性，并在統(tǒng)一設(shè)置下進(jìn)行對比。

在 GSM8K、ARC、HellaSwag、TruthfulQA 等七個(gè)基準(zhǔn)任務(wù)上，作者系統(tǒng)比較了：

• Agent 完全一致（L1）
• Agent Persona 多樣性（L2）
• Base Model 多樣性（L3）
• Persona多樣性兼Base Model多樣性(L4)

結(jié)果顯示，每引入一層新的多樣性，系統(tǒng)整體性能都會(huì)顯著上移；其中，模型多樣性和 persona 多樣性各自都具有獨(dú)立貢獻(xiàn)，而二者結(jié)合時(shí)效果最為顯著。

這一趨勢在效率層面體現(xiàn)得尤為明顯：在多個(gè)任務(wù)上，僅使用2 個(gè)完全異質(zhì)的 agent，就可以達(dá)到甚至超過16 個(gè)同質(zhì) agent的平均性能。

限制多智能體擴(kuò)展的不是規(guī)模

而是信息冗余

將這些實(shí)驗(yàn)結(jié)果串聯(lián)起來，論文在經(jīng)驗(yàn)層面得出了一個(gè)清晰結(jié)論：多智能體系統(tǒng)的擴(kuò)展瓶頸并不來自 agent 數(shù)量不足，而來自 agent 輸出之間的高度相關(guān)性。在同質(zhì)配置下，多個(gè) agent 往往沿著相似的推理路徑生成答案，新增調(diào)用所帶來的大多是重復(fù)信息；而多樣性的作用，在于引入互補(bǔ)視角，降低輸出冗余，使系統(tǒng)能夠在相同甚至更小的計(jì)算預(yù)算下獲得更多有效證據(jù)。

基于這一系列實(shí)驗(yàn)現(xiàn)象，作者進(jìn)一步提出信息論分析框架，引入「有效信息通道」等概念，對「規(guī)模失效」與「多樣性優(yōu)勢」給出統(tǒng)一解釋。與其說這項(xiàng)工作提出了新的 agent 架構(gòu)，不如說它明確指出：多智能體系統(tǒng)里真正稀缺的資源不是調(diào)用次數(shù)，而是非冗余的信息來源

信息論視角：

性能由「有效信息」而非「調(diào)用次數(shù)」主導(dǎo)

作者考慮一個(gè)包含 N 個(gè)大模型智能體的多智能體系統(tǒng)，每個(gè)智能體具有自身配置，包括基座模型（backbone model）、系統(tǒng)提示詞（system prompt）、角色設(shè)定（persona）與工具能力（tool access）。系統(tǒng)接收問題輸入 X，按預(yù)設(shè)工作流執(zhí)行若干次推理（記為 n 次），最終輸出答案。

從信息論角度，得到正確答案 Y 的成功率并不簡單由 N 與 n 決定，而取決于系統(tǒng)能夠提供多少關(guān)于 Y 的信息。作者用條件熵 H (Y|X) 刻畫任務(wù)的內(nèi)在難度：在給定問題 X 的情況下，正確答案 Y 仍然存在的剩余不確定性。

• 同質(zhì)配置下，即便新增智能體，往往也只是在相似推理路徑下重復(fù)采樣，因而對降低不確定性幫助有限；
• 異質(zhì)配置下，新增智能體更可能引入新的推理路徑，與既有路徑互補(bǔ)，從而更有效地減少不確定性。

為刻畫這一差異，作者定義：

在該設(shè)定下，作者基于若干建模假設(shè)推導(dǎo)出一個(gè)近似形式，用于刻畫趨勢而非精確預(yù)測。作者認(rèn)為，系統(tǒng)可獲得的有效信息量（并據(jù)此關(guān)聯(lián)成功率）主要受如下量支配：

該結(jié)果強(qiáng)調(diào)：影響系統(tǒng)性能的關(guān)鍵不在于 “智能體數(shù)量或推理次數(shù)”，而在于系統(tǒng)中有效信息通道的數(shù)量—— 也就是多樣化所帶來的非冗余信息規(guī)模。它也解釋了為何實(shí)踐中常見「邊際效益遞減」：當(dāng)有效信息通道增長受限時(shí)，新增調(diào)用帶來的有效信息增量會(huì)快速衰減。

作者還給出了在實(shí)踐中估計(jì)有效信息通道 K 的方法，并在 GSM8K、ARC、Formal Logic、HellaSwag、WinoGrande、Pro Medicine 等數(shù)據(jù)集上驗(yàn)證：經(jīng)驗(yàn)成功率與理論預(yù)測總體吻合。

進(jìn)一步地，作者將系統(tǒng)輸出拆分為「正確推理路徑」與「錯(cuò)誤推理路徑」，分別估算其對應(yīng)的有效信息通道數(shù)量。實(shí)驗(yàn)一致表明：當(dāng)正確推理路徑對應(yīng)的有效信息通道更多時(shí)，多智能體系統(tǒng)表現(xiàn)更好。這意味著系統(tǒng)設(shè)計(jì)不應(yīng)盲目追求多樣性本身，而應(yīng)追求與任務(wù)相關(guān)的推理多樣性 —— 即提升與正確推理相關(guān)的有效信息通道數(shù)。

總結(jié)

論文的核心經(jīng)驗(yàn)結(jié)論是：多智能體擴(kuò)展的關(guān)鍵不在于把 N 做大，而在于讓新增調(diào)用帶來新的有效證據(jù)。只要輸出高度相關(guān)，同質(zhì)擴(kuò)展就會(huì)很快進(jìn)入平臺期；而多樣性能夠提升效率，是因?yàn)樗赡墚a(chǎn)生互補(bǔ)推理路徑。換句話說，多智能體系統(tǒng)里稀缺的不是調(diào)用次數(shù)，而是非冗余信息。

實(shí)踐上可以用一個(gè)簡單標(biāo)準(zhǔn)指導(dǎo)擴(kuò)展：當(dāng)增加 agent 主要帶來「同一思路的重復(fù)」 時(shí)，應(yīng)停止堆同質(zhì)數(shù)量，轉(zhuǎn)而引入可控的異質(zhì)性（方法互補(bǔ)的 persona、不同模型家族、工具能力互補(bǔ)）；只有當(dāng)這些改動(dòng)確實(shí)帶來額外增益時(shí)，再繼續(xù)擴(kuò)大規(guī)模。