高階交互學(xué)習(xí)：從超圖到多智能體系統(tǒng)

高階交互學(xué)習(xí)：從超圖到多智能體系統(tǒng)

Learning with Higher-Order Interactions:From Hypergraphs to Multi-Agent

https://ora.ox.ac.uk/objects/uuid:f9ee7f31-d424-4cf9-86ce-e51879bc3e77/files/dv405sb33b

摘要

高階交互被定義為多個(gè)實(shí)體共同產(chǎn)生有意義的群體層面結(jié)果的能力，這將其協(xié)作與純粹的隨機(jī)組合區(qū)分開來。它們涉及兩個(gè)關(guān)鍵要素：參與實(shí)體的實(shí)體級(jí)特征以及由此產(chǎn)生的群體級(jí)結(jié)果。這種交互在各個(gè)領(lǐng)域普遍存在，從研究人員共同撰寫出版物到程序員開發(fā)軟件。因此，探索能夠捕捉高階交互兩個(gè)方面的學(xué)習(xí)方法至關(guān)重要：它們與實(shí)體級(jí)特征的相互作用，以及它們對(duì)群體級(jí)結(jié)果的影響。本論文通過在實(shí)體級(jí)和群體級(jí)的一系列新穎方法來解決這一挑戰(zhàn)。在實(shí)體級(jí)，我們借助超圖機(jī)器學(xué)習(xí)的視角。我們首先從根據(jù)觀察到的實(shí)體特征推斷隱式高階交互的任務(wù)開始，提出了HGSL，這是一個(gè)超圖結(jié)構(gòu)學(xué)習(xí)框架，它利用一種新穎的雙重平滑先驗(yàn)來推斷隱式高階交互。對(duì)于顯式定義的高階交互，關(guān)鍵的實(shí)體級(jí)挑戰(zhàn)是利用這些交互來豐富實(shí)體特征。為此，我們提出了兩種新穎的方法：Hypergraph-MLP，它通過一種原創(chuàng)的損失函數(shù)使用多層感知機(jī)直接嵌入高階交互；以及TF-HNN，它使用一種新穎的免訓(xùn)練消息傳遞模塊將高階交互編碼到實(shí)體特征中。超越實(shí)體級(jí)，我們轉(zhuǎn)向研究群體級(jí)的高階交互。我們通過基于大型語言模型（LLM）的多智能體系統(tǒng)的視角來研究這一點(diǎn)。我們首先提出了MATRIX，這是一個(gè)具有新穎的同質(zhì)性引導(dǎo)通信機(jī)制的LLM多智能體模擬框架，表明高階交互的群體級(jí)結(jié)果可以為LLM后訓(xùn)練帶來高質(zhì)量的數(shù)據(jù)。然后，我們提出了一種新穎的分析框架，揭示了任務(wù)的內(nèi)在特征，尤其是其邏輯深度和能力寬度，如何關(guān)鍵性地決定基于LLM的智能體內(nèi)部的高階交互是否會(huì)產(chǎn)生有效的群體級(jí)結(jié)果?？偠灾菊撐臑閺某瑘D到多智能體系統(tǒng)在實(shí)體級(jí)和群體級(jí)的高階交互學(xué)習(xí)做出了貢獻(xiàn)。

第一章

引言

1.1 動(dòng)機(jī)

高階交互被定義為多個(gè)實(shí)體以產(chǎn)生有意義的群體級(jí)結(jié)果的方式集體行動(dòng)的能力，從而將真正的協(xié)作與僅僅是實(shí)體的隨機(jī)組合區(qū)分開來。這些交互涉及兩個(gè)基本組成部分：參與實(shí)體的實(shí)體級(jí)特征以及由它們的聯(lián)合行為產(chǎn)生的群體級(jí)結(jié)果。重要的是，高階交互并不排除實(shí)體之間存在交流或協(xié)作，而是超越了它們：使交互成為高階的關(guān)鍵事實(shí)在于，集體過程產(chǎn)生了單個(gè)實(shí)體單獨(dú)行動(dòng)無法達(dá)到的結(jié)果。此類交互在各個(gè)領(lǐng)域無處不在。例如，科學(xué)合作通常需要多名研究人員貢獻(xiàn)互補(bǔ)的專業(yè)知識(shí)以協(xié)作撰寫有影響力的出版物 [2]，而軟件開發(fā)通常依賴于程序員團(tuán)隊(duì)協(xié)作構(gòu)建和維護(hù)大型系統(tǒng) [3, 4]。因此，在許多場景中，數(shù)據(jù)通常包含顯式或隱式嵌入的高階交互，并且當(dāng)利用這些交互時(shí)，系統(tǒng)表現(xiàn)出明顯的益處 [5, 6, 7]。因此，開發(fā)有效的高階交互學(xué)習(xí)方法至關(guān)重要，既是為了捕捉它們與實(shí)體級(jí)特征的相互作用，也是為了理解它們對(duì)群體級(jí)結(jié)果的影響。本論文通過兩個(gè)互補(bǔ)的視角研究高階交互學(xué)習(xí)，為實(shí)體級(jí)和群體級(jí)學(xué)習(xí)提供有價(jià)值的見解。

在實(shí)體層面，超圖已成為開發(fā)學(xué)習(xí)方法的強(qiáng)大數(shù)學(xué)工具。超圖由節(jié)點(diǎn)和超邊組成，可以連接任意數(shù)量的節(jié)點(diǎn)，其中節(jié)點(diǎn)代表實(shí)體，而超邊代表節(jié)點(diǎn)之間的高階交互。這種表示法激發(fā)了超圖機(jī)器學(xué)習(xí)領(lǐng)域日益增長的研究，該領(lǐng)域研究超圖結(jié)構(gòu)與節(jié)點(diǎn)特征之間的關(guān)系 [8]。建立在圖神經(jīng)網(wǎng)絡(luò)（GNNs）[9] 的成功之上，最近許多工作集中在超圖神經(jīng)網(wǎng)絡(luò)（HNNs）[6, 10] 上。這些模型通常采用消息傳遞機(jī)制，將超圖結(jié)構(gòu)和節(jié)點(diǎn)特征都作為輸入，使連接的節(jié)點(diǎn)之間能夠進(jìn)行信息交換，并產(chǎn)生適用于節(jié)點(diǎn)、超邊或超圖級(jí)別下游任務(wù)的嵌入 [11, 12, 13, 14]。盡管取得了令人矚目的進(jìn)展，但仍有兩個(gè)關(guān)鍵挑戰(zhàn)存在。首先，大多數(shù)現(xiàn)有的超圖機(jī)器學(xué)習(xí)方法假設(shè)高階交互是顯式提供的，而在許多現(xiàn)實(shí)世界的應(yīng)用中，此類交互是隱式的，需要從實(shí)體的特征中推斷出來。其次，即使高階交互是顯式定義的，現(xiàn)有的超圖機(jī)器學(xué)習(xí)方法通常依賴于計(jì)算昂貴的消息傳遞機(jī)制，限制了它們的可擴(kuò)展性。利用顯式高階交互來增強(qiáng)實(shí)體級(jí)特征的更高效方法仍未得到充分探索，這激發(fā)了對(duì)輕量級(jí)但有效的替代方案的需求。

超越個(gè)體實(shí)體層面，在現(xiàn)實(shí)世界的應(yīng)用中，高階交互在它們產(chǎn)生的群體級(jí)結(jié)果中扮演著重要角色。大語言模型（LLMs）的最新進(jìn)展激發(fā)了人們對(duì)基于LLM的多智能體系統(tǒng)（LLM-MAS）的日益濃厚的興趣，在該系統(tǒng)中，多個(gè)基于LLM的智能體進(jìn)行交互以共同解決任務(wù)。這種設(shè)置與我們對(duì)高階交互的定義自然吻合，因?yàn)槎鄠€(gè)基于LLM的智能體是集體行動(dòng)以產(chǎn)生有意義的群體級(jí)結(jié)果的實(shí)體。在這些系統(tǒng)中，每個(gè)智能體通常由單個(gè)LLM作為其核心推理引擎驅(qū)動(dòng)，通常輔以提示工程策略和記憶模塊等額外組件 [15, 16]。智能體接收自然語言的用戶輸入，通過底層的LLM進(jìn)行處理，并產(chǎn)生可能以推理軌跡、決策或行動(dòng)形式出現(xiàn)的輸出 [17, 18, 19, 20]。關(guān)鍵在于，LLM-MAS 的有效性并非源于孤立的個(gè)體智能體，而是源于它們之間的高階交互，這些交互是產(chǎn)生任何單個(gè)智能體無法企及的群體級(jí)結(jié)果的集體過程。例如，在 LLM-DEBATE [21] 中，智能體之間的聯(lián)合討論實(shí)現(xiàn)了錯(cuò)誤糾正和推理步驟的完善，這是單個(gè)智能體可能會(huì)遺漏的，從而在群體層面得出更準(zhǔn)確的結(jié)論。同樣，MDAgents [22] 展示了專業(yè)智能體（一個(gè)收集癥狀，另一個(gè)進(jìn)行診斷推理，還有一個(gè)推薦治療方案）如何通過它們的協(xié)調(diào)互動(dòng)實(shí)現(xiàn)更高質(zhì)量的群體級(jí)醫(yī)療決策。在這兩種情況下，此類現(xiàn)實(shí)世界高階交互的定義特征在于涌現(xiàn)的群體級(jí)結(jié)果。盡管有這些進(jìn)展，現(xiàn)有研究主要集中在狹窄的現(xiàn)實(shí)世界應(yīng)用上，如問答和決策支持，留下了未探索的領(lǐng)域：基于LLM的智能體之間的高階交互增強(qiáng)LLM訓(xùn)練過程的潛力，以及決定此類交互何時(shí)比單個(gè)LLM智能體產(chǎn)生內(nèi)在優(yōu)勢的理論原則。

受上述討論的啟發(fā)，本論文旨在通過一系列新穎的方法推進(jìn)高階交互學(xué)習(xí)的現(xiàn)狀。研究圍繞兩個(gè)關(guān)鍵主題構(gòu)建：

1. 具有高階交互的實(shí)體級(jí)學(xué)習(xí)： 我們開發(fā)專注于實(shí)體特征與高階交互之間關(guān)系的超圖機(jī)器學(xué)習(xí)方法。我們首先研究如何直接從實(shí)體特征推斷高階交互，從而揭示事先未被觀察到的隱藏群體結(jié)構(gòu)。此外，對(duì)于顯式定義的高階交互，我們提出了高效的基于超圖的模型，這些模型在提高可擴(kuò)展性的同時(shí)利用高階信息，使得高階學(xué)習(xí)方法能夠在大規(guī)模實(shí)體級(jí)設(shè)置中實(shí)際部署。
2. 具有高階交互的群體級(jí)學(xué)習(xí)： 超越實(shí)體級(jí)學(xué)習(xí)，我們調(diào)查實(shí)體之間的高階交互如何表征涌現(xiàn)的群體級(jí)結(jié)果。為此，我們利用基于LLM的多智能體系統(tǒng)的視角，其中多個(gè)基于LLM的智能體（實(shí)體）相互作用，為了特定目的共同產(chǎn)生群體級(jí)結(jié)果。具體而言，我們探索如何利用智能體交互來生成用于LLM后訓(xùn)練的高質(zhì)量合成數(shù)據(jù)，并提供理論分析，闡明在問答任務(wù)中多智能體協(xié)作何時(shí)比單個(gè)LLM產(chǎn)生內(nèi)在優(yōu)勢。

1.2 貢獻(xiàn)與原創(chuàng)性聲明

本小節(jié)總結(jié)了本論文對(duì)高階交互學(xué)習(xí)主題的貢獻(xiàn)。概覽如圖 1.1 所示。細(xì)節(jié)闡述如下。

高階交互推斷：

1. 我們從高階交互推斷開始。具體而言，我們提出了一種新穎的雙重平滑先驗(yàn)，揭示了節(jié)點(diǎn)特征與超圖結(jié)構(gòu)之間的關(guān)系，即每個(gè)超邊對(duì)應(yīng)一個(gè)子圖，該子圖在學(xué)到的圖結(jié)構(gòu)中同時(shí)具有節(jié)點(diǎn)特征平滑性和邊特征平滑性?；诖讼闰?yàn)，我們提出了 HGSL，這是一個(gè)超圖結(jié)構(gòu)學(xué)習(xí)框架，它從節(jié)點(diǎn)特征中學(xué)習(xí)超圖結(jié)構(gòu)，在具有相似特征和成對(duì)關(guān)系的節(jié)點(diǎn)之間形成超邊。這揭示了節(jié)點(diǎn)間有意義的隱藏高階交互。在合成和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，與現(xiàn)有推斷方法相比，我們的方法能更有效地從實(shí)體特征中學(xué)習(xí)有意義的超圖結(jié)構(gòu)。這項(xiàng)研究已總結(jié)在 Bohan Tang, Siheng Chen, and Xiaowen Dong. Learning hypergraphs from signals with dual smoothness prior. In ICASSP 2023-2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 1–5. IEEE, 2023. 在這項(xiàng)工作中，我貢獻(xiàn)了大部分的方法開發(fā)和實(shí)驗(yàn)工作。其他作者對(duì)問題動(dòng)機(jī)提供了有價(jià)值的見解，并對(duì)方法設(shè)計(jì)和實(shí)驗(yàn)提供了總體指導(dǎo)。
2. 無需消息傳遞的高階交互學(xué)習(xí)： 當(dāng)高階交互被顯式定義時(shí)，關(guān)鍵的實(shí)體級(jí)挑戰(zhàn)轉(zhuǎn)變?yōu)樘剿髌湓诒碚鲗?shí)體特征方面的效用。因此，我們轉(zhuǎn)向?qū)嶓w級(jí)表征學(xué)習(xí)。我們提出了 Hypergraph-MLP，這是一個(gè)利用高階交互為通過這些交互連接的實(shí)體學(xué)習(xí)信息豐富的實(shí)體特征的新穎框架。該方法采用一個(gè)簡單的多層感知機(jī)（MLP），由一個(gè)強(qiáng)制超圖內(nèi)節(jié)點(diǎn)特征平滑性的損失函數(shù)指導(dǎo)。在超圖節(jié)點(diǎn)分類基準(zhǔn)上的實(shí)驗(yàn)表明，Hypergraph-MLP 不僅顯示出與現(xiàn)有基線相比具有競爭力的性能，而且顯著加速了推斷。這項(xiàng)研究已總結(jié)在 Bohan Tang, Siheng Chen, and Xiaowen Dong. Hypergraph-mlp: learning on hypergraphs without message passing. In ICASSP 2024-2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 13476–13480. IEEE, 2024. 在這項(xiàng)工作中，我的主要貢獻(xiàn)包括方法開發(fā)和實(shí)驗(yàn)工作。其他作者對(duì)問題動(dòng)機(jī)提供了有價(jià)值的見解，并對(duì)方法設(shè)計(jì)和實(shí)驗(yàn)提供了總體指導(dǎo)。
3. 針對(duì)高階交互的免訓(xùn)練消息傳遞： 進(jìn)一步探索實(shí)體級(jí)表征學(xué)習(xí)的效率，我們提出了 TF-MP-Module，這是一種旨在提高處理預(yù)定義高階交互效率的新穎免訓(xùn)練消息傳遞模塊。具體來說，我們通過兩個(gè)關(guān)鍵步驟設(shè)計(jì)了這個(gè)模塊。首先，我們?yōu)楝F(xiàn)有的超圖神經(jīng)網(wǎng)絡(luò)（HNNs）建立了一個(gè)統(tǒng)一的理論框架。其次，基于這個(gè)框架，我們識(shí)別了四個(gè)最先進(jìn) HNNs 的消息傳遞模塊中的冗余，并將它們簡化為 TF-MP-Module。我們將配備了我們 TF-MP-Module 的超圖神經(jīng)網(wǎng)絡(luò)稱為 TF-HNN。我們進(jìn)行了理論分析和廣泛的實(shí)驗(yàn)來評(píng)估 TF-HNN。理論分析提供了效率和有效性的保證。在七個(gè)真實(shí)世界超圖基準(zhǔn)上的實(shí)驗(yàn)結(jié)果，涵蓋節(jié)點(diǎn)分類和超鏈接預(yù)測任務(wù)，表明 TF-HNN 在提供優(yōu)于最先進(jìn)超圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率的同時(shí)，實(shí)現(xiàn)了具有競爭力的性能。這項(xiàng)研究已總結(jié)在 Bohan Tang, Zexi Liu, Keyue Jiang*, Siheng Chen, and Xiaowen Dong. Training-free message passing for learning on hypergraphs. In The Thirteenth International Conference on Learning Representations, 2025.* 在這項(xiàng)工作中，我主要負(fù)責(zé)理論工作、算法開發(fā)和實(shí)驗(yàn)。其他作者通過塑造問題動(dòng)機(jī)以及提供關(guān)于方法和實(shí)驗(yàn)設(shè)計(jì)的總體建議做出了貢獻(xiàn)。
4. 利用高階交互合成 LLM 后訓(xùn)練數(shù)據(jù)： 超越個(gè)體實(shí)體表征，我們探索群體層面，在此我們利用 LLM 多智能體系統(tǒng)的視角。我們設(shè)計(jì)了一個(gè)多智能體模擬框架，其中基于 LLM 的智能體之間由同質(zhì)性引導(dǎo)的高階交互使得能夠?yàn)?LLM 后訓(xùn)練生成高質(zhì)量的合成數(shù)據(jù)。廣泛的實(shí)驗(yàn)表明，我們提出的具有同質(zhì)性引導(dǎo)高階交互的多智能體模擬框架有效地生成了通用和特定領(lǐng)域的數(shù)據(jù)。值得注意的是，在 AlpacaEval 2 和 Arena-Hard 基準(zhǔn)上，僅使用 2 萬條指令 - 響應(yīng)對(duì)在我們框架合成的數(shù)據(jù)集上進(jìn)行后訓(xùn)練的 Llama-3-8B-Base，優(yōu)于 Meta 的 Llama-3-8B-Instruct 模型，后者是在超過 1000 萬對(duì)數(shù)據(jù)上訓(xùn)練的。這項(xiàng)研究已總結(jié)在 Shuo Tang, Xianghe Pang*, Zexi Liu*, Bohan Tang*, Rui Ye, Tian Jin, Xiaowen Dong, Yanfeng Wang, and Siheng Chen. Synthesizing post-training data for llms through multi-agent simulation. The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025), 2025.* Shuo Tang, Xianghe Pang, Zexi Liu 和我對(duì)這項(xiàng)工作貢獻(xiàn)均等。我的主要職責(zé)是設(shè)計(jì)和實(shí)現(xiàn)具有同質(zhì)性引導(dǎo)通信協(xié)議的整體多智能體模擬流水線。Shuo 專注于智能體畫像生成和場景驅(qū)動(dòng)指令生成器的設(shè)計(jì)與實(shí)驗(yàn)。Xianghe 進(jìn)行了評(píng)估我們在特定領(lǐng)域生成的訓(xùn)練數(shù)據(jù)的實(shí)驗(yàn)，而 Zexi 進(jìn)行了評(píng)估我們在通用領(lǐng)域生成的訓(xùn)練數(shù)據(jù)的實(shí)驗(yàn)。其余作者對(duì)問題動(dòng)機(jī)提供了有價(jià)值的見解，并對(duì)方法設(shè)計(jì)和實(shí)驗(yàn)提供了總體指導(dǎo)。
5. 關(guān)于任務(wù)復(fù)雜性在評(píng)估基于 LLM 的多智能體系統(tǒng)中的重要性： 繼續(xù)基于 LLM 多智能體系統(tǒng)（LLM-MAS）的群體層面工作，我們研究了基于 LLM 的智能體之間的高階交互在問答設(shè)置中何時(shí)提供優(yōu)于基于 LLM 的單智能體系統(tǒng)（LLM-SAS）的內(nèi)在優(yōu)勢的理論基礎(chǔ)。我們提出了一個(gè)沿兩個(gè)維度表征任務(wù)的框架：深度（推理長度）和寬度（能力多樣性）。在此基礎(chǔ)上，我們分析并實(shí)證評(píng)估了跨判別性和生成性任務(wù)的多智能體辯論系統(tǒng)。理論和實(shí)證結(jié)果均表明，雖然深度和寬度都增強(qiáng)了 LLM-MAS 的相對(duì)性能，但深度的影響更為顯著。這闡明了 LLM-MAS 何時(shí)優(yōu)于 LLM-SAS，并為設(shè)計(jì)未來的方法和基準(zhǔn)建立了原則性的基礎(chǔ)。這項(xiàng)研究已總結(jié)在 Bohan Tang, Huidong Liang*, Keyue Jiang*, and Xiaowen Dong. On the importance of task complexity in evaluating llm-based multi-agent systems. 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Scaling Environments for Agents (SEA), 2025.* Huidong Liang, Keyue Jiang 和我對(duì)這項(xiàng)工作貢獻(xiàn)均等。我的主要貢獻(xiàn)在于理論分析框架的開發(fā)和實(shí)驗(yàn)的設(shè)計(jì)。Huidong 實(shí)施了創(chuàng)意寫作數(shù)據(jù)上的實(shí)驗(yàn)，而 Keyue 實(shí)施了數(shù)學(xué)推理數(shù)據(jù)上的實(shí)驗(yàn)。

1.3 論文大綱

本論文的其余部分結(jié)構(gòu)如下。第2章介紹了高階交互學(xué)習(xí)所需的必要預(yù)備知識(shí)和符號(hào)，涵蓋了圖與超圖的基礎(chǔ)知識(shí)以及基于大語言模型的多智能體系統(tǒng)的背景。第3章綜述了相關(guān)工作，將本論文的技術(shù)章節(jié)置于超圖機(jī)器學(xué)習(xí)和基于大語言模型的智能體文獻(xiàn)的更廣泛背景中。第4章介紹了 HGSL，我們基于新穎雙重平滑先驗(yàn)的高階交互推斷框架，該框架從實(shí)體特征中推斷潛在的高階交互。第5章提出了 Hypergraph-MLP，這是一種利用顯式定義的高階交互進(jìn)行實(shí)體級(jí)表征學(xué)習(xí)的高效且有效的方法。第6章介紹了 TF-HNN，這是一個(gè)免訓(xùn)練的消息傳遞框架，提高了實(shí)體級(jí)表征中利用高階交互進(jìn)行有效學(xué)習(xí)的效率。第7章超越了實(shí)體級(jí)學(xué)習(xí)，轉(zhuǎn)向群體級(jí)，提出了 MATRIX 框架，該框架利用基于大語言模型的智能體之間由同質(zhì)性引導(dǎo)的高階交互的多智能體模擬，為數(shù)據(jù)合成生成逼真的場景。第8章對(duì)基于大語言模型的多智能體系統(tǒng)進(jìn)行了理論和實(shí)證研究，引入了一種基于推理深度和能力寬度的復(fù)雜性度量，以闡明智能體之間的高階交互何時(shí)比單智能體系統(tǒng)提供內(nèi)在優(yōu)勢。最后，第9章以論文內(nèi)容的總結(jié)、未來研究方向以及宏觀展望作為結(jié)論。

第二章

預(yù)備知識(shí)

2.1 圖信號(hào)處理

圖信號(hào)處理（GSP）通過將其框架擴(kuò)展到圖的離散、不規(guī)則領(lǐng)域，與經(jīng)典信號(hào)處理形成了引人注目的類比：它側(cè)重于使用基函數(shù)、變換和濾波操作來表示信號(hào)，反映了傳統(tǒng)信號(hào)處理如何通過傅里葉變換在時(shí)域和頻域之間進(jìn)行導(dǎo)航。在圖的語境下，這種對(duì)偶性通過空間域和譜域之間類似的相互作用而持續(xù)存在，其中圖的拓?fù)浣Y(jié)構(gòu)替代了時(shí)間軸。GSP 方法可以從兩個(gè)關(guān)鍵視角來表述：一個(gè)源于圖拉普拉斯矩陣 L L [33] 的譜分解，而另一個(gè)源于更通用的利用鄰接矩陣 W W [34] 的圖移位算子（graph-shift）z-變換。在本綜述中，我們要集中于基于拉普拉斯矩陣的方法，鑒于其離散算子與傅里葉分析有著豐富的聯(lián)系，且在橋接連續(xù)域和基于圖的信號(hào)域方面具有概念上的清晰性。

濾波位于圖信號(hào)處理（GSP）的核心，將頻率選擇性分析的概念擴(kuò)展到了不規(guī)則圖領(lǐng)域。關(guān)鍵在于拉普拉斯矩陣的特征分解：

L = U Λ U ? , ( 2.1 )

其中 g g 決定了濾波器的特性。例如，低通濾波器衰減高頻分量，即較大的 λ λ，同時(shí)保留平滑的變化，而帶通和高通濾波器則強(qiáng)調(diào)中間和振蕩分量。此外，歸一化拉普拉斯矩陣，

在實(shí)踐中通常更受青睞，因?yàn)槠渥V位于范圍內(nèi)，從而穩(wěn)定了圖濾波器的設(shè)計(jì)和解釋。

雖然濾波為分析和處理圖信號(hào)提供了一個(gè)原則性的框架，但它從根本上依賴于圖拓?fù)? G G是先驗(yàn)已知這一假設(shè)。然而，在許多現(xiàn)實(shí)世界的應(yīng)用中，圖要么僅被部分指定，要么完全不可用。這一局限性激發(fā)了人們對(duì)圖結(jié)構(gòu)學(xué)習(xí) [35] 的日益濃厚的興趣。該任務(wù)旨在直接從觀測到的節(jié)點(diǎn)信號(hào) X X 中恢復(fù)潛在的圖拓?fù)? G G，該拓?fù)溆衫绽咕仃? L L 或鄰接矩陣 W W 表示。

在這一研究方向中，平滑性先驗(yàn)（例如最小化公式 (2.1) 中定義的平滑性度量）充當(dāng)了自然的正則化項(xiàng)，鼓勵(lì)恢復(fù)支持有意義譜表示的圖 [36, 37, 38, 39]。形式上，該問題通常被表述為以下優(yōu)化問題：

2.2 超圖神經(jīng)網(wǎng)絡(luò)

超圖神經(jīng)網(wǎng)絡(luò)（HNNs）旨在實(shí)現(xiàn)對(duì)高階結(jié)構(gòu)信息和節(jié)點(diǎn)屬性的聯(lián)合利用。由于節(jié)點(diǎn)構(gòu)成了超圖的基本構(gòu)建模塊，學(xué)習(xí)到的節(jié)點(diǎn)嵌入可以自然地通過聚合來執(zhí)行超邊級(jí)、超邊級(jí)或節(jié)點(diǎn)級(jí)任務(wù)。因此，大多數(shù)現(xiàn)有的 HNN 專注于設(shè)計(jì)能夠生成具有表達(dá)力的節(jié)點(diǎn)表示的架構(gòu)。從數(shù)學(xué)上講，這些模型的目標(biāo)是學(xué)習(xí)一個(gè)表示映射

2.3 基于大語言模型的多智能體系統(tǒng)

大語言模型（LLMs）的最新進(jìn)展為在廣泛領(lǐng)域內(nèi)部署 AI 智能體系統(tǒng)創(chuàng)造了重大機(jī)遇 [19, 48, 49]。本節(jié)首先概述 LLMs 的一般開發(fā)過程，隨后轉(zhuǎn)向它們在單智能體和多智能體系統(tǒng)中的應(yīng)用。

2.3.1 大語言模型（LLMs）

其中 β β 是一個(gè)縮放超參數(shù)。與 RLHF 不同，DPO 是一種純監(jiān)督的基于偏好的方法：它通過直接優(yōu)化使策略與人類偏好的回復(fù)對(duì)齊，無需迭代的策略梯度更新，從而在保持有效性的同時(shí)使訓(xùn)練過程更高效。

2.3.2 基于 LLM 的單智能體系統(tǒng)

基于 LLM 的單智能體系統(tǒng)（LLM-SAS）采用單個(gè)大語言模型作為其核心推理引擎，并輔以提示工程和記憶模塊等技術(shù) [15, 16]。智能體接收自然語言的用戶輸入，通過 LLM 進(jìn)行處理，并生成可能代表推理步驟、決策或行動(dòng)的輸出。通過引入記憶等資源，此類系統(tǒng)超越了原始的文本生成，實(shí)現(xiàn)了更強(qiáng)的通用性。

記憶通過在交互間保存信息進(jìn)一步加強(qiáng)了單智能體系統(tǒng)。短期記憶通過上下文學(xué)習(xí)（in-context learning）實(shí)現(xiàn)，即將對(duì)話歷史或檢索到的示例拼接到提示中 [60]。長期記憶依賴于持久化存儲(chǔ)，通常通過外部檢索系統(tǒng)（如向量數(shù)據(jù)庫 [61]）實(shí)現(xiàn)，這些系統(tǒng)將過去的交互存儲(chǔ)在嵌入空間中，并在推理期間提供相關(guān)條目。這些機(jī)制允許智能體在多輪對(duì)話中保持連貫性，并為擴(kuò)展任務(wù)積累知識(shí)。

在實(shí)踐中，這些機(jī)制，如通過思維鏈提示進(jìn)行的推理和通過記憶實(shí)現(xiàn)的持久性，并非孤立使用，而是經(jīng)常在一個(gè)單一框架內(nèi)結(jié)合使用。它們的整合產(chǎn)生了類似于自主推理和決策的涌現(xiàn)行為 [20, 62, 63]。因此，LLM-SAS 可以解決廣泛的應(yīng)用，范圍從起草長篇文檔到排查技術(shù)問題。

2.3.3 基于 LLM 的多智能體系統(tǒng)

在基于 LLM 的多智能體系統(tǒng)（LLM-MAS）中，多個(gè)由 LLM 驅(qū)動(dòng)的智能體協(xié)同工作并進(jìn)行通信，無論是協(xié)作還是競爭，以解決復(fù)雜問題 [21, 64, 65]。這種范式受到人類團(tuán)隊(duì)解決問題的啟發(fā)，即具有互補(bǔ)專業(yè)知識(shí)的個(gè)體進(jìn)行互動(dòng)，以實(shí)現(xiàn)單個(gè)人難以獨(dú)立完成的目標(biāo) [1, 66, 67]。與 LLM-SAS 相比，LLM-MAS 明確利用了基于 LLM 的智能體之間的高階交互，因?yàn)閮蓚€(gè)以上的智能體可以同時(shí)交換、完善和整合信息。此類系統(tǒng)的一個(gè)主要范式是辯論框架 [21, 68, 69, 70, 71, 72]。在這種設(shè)置下，智能體被分配不同的角色，并圍繞給定問題交換多輪討論。該過程在最終階段達(dá)到高潮，其中一個(gè)總結(jié)智能體將討論聚合為單一輸出：

在實(shí)踐中，LLM-MAS 已應(yīng)用于各個(gè)領(lǐng)域，其中問答是最突出的應(yīng)用之一。在一般推理中，多輪討論隨后進(jìn)行總結(jié)所產(chǎn)生的回復(fù)，比單智能體基線的回復(fù)更真實(shí)且邏輯上更一致 [21, 70, 68]。在代碼生成中，辯論智能體協(xié)作完善候選程序，總結(jié)者將其貢獻(xiàn)整合為更準(zhǔn)確和功能性更強(qiáng)的輸出 [69, 72, 73]。在醫(yī)學(xué)領(lǐng)域，專業(yè)智能體可以參與結(jié)構(gòu)化辯論，交換診斷假設(shè)和推理鏈，然后由總結(jié)者將這些高階交互綜合為安全且有充分依據(jù)的決策 [22]。此外，一些最近的研究 [3, 4] 提出了任務(wù)分解流水線，這可以被視為針對(duì)項(xiàng)目級(jí)場景量身定制的辯論框架的變體。在這里，一個(gè)復(fù)雜的項(xiàng)目被分解為更簡單的問題，每個(gè)問題可以由單個(gè)智能體單獨(dú)解決，也可以由一個(gè)小型辯論組協(xié)作解決，然后將它們的輸出整合為一個(gè)連貫的解決方案。例如，在軟件開發(fā)中，一個(gè)大項(xiàng)目可以分解為獨(dú)立設(shè)計(jì)和完善的模塊，然后組裝成一個(gè)功能系統(tǒng)。此外，另一條研究路線專注于設(shè)計(jì)框架來模擬人類的社會(huì)行為 [74, 75, 76, 77]。這一研究領(lǐng)域主要調(diào)查這些智能體社會(huì)中的涌現(xiàn)屬性和復(fù)雜交互。然而，相對(duì)而言，較少有關(guān)注點(diǎn)放在在現(xiàn)實(shí)世界應(yīng)用中部署 LLM-MAS 上。

。。。。。。。

原文鏈接：https://ora.ox.ac.uk/objects/uuid:f9ee7f31-d424-4cf9-86ce-e51879bc3e77/files/dv405sb33b