HyperMixup：超圖增強(qiáng)的高階信息混合

HyperMixup: Hypergraph-Augmented with Higher-order Information Mixup HyperMixup：超圖增強(qiáng)的高階信息混合

https://neurips.cc/virtual/2025/loc/san-diego/poster/115821

摘要

超圖為建模具有多路交互的復(fù)雜系統(tǒng)提供了一種自然范式。超圖神經(jīng)網(wǎng)絡(luò)（HGNNs）在學(xué)習(xí)此類高階關(guān)系數(shù)據(jù)方面已展現(xiàn)出顯著的成功。盡管這種高階建模增強(qiáng)了關(guān)系推理能力，但超圖學(xué)習(xí)的有效性仍然受到兩個(gè)持久性挑戰(zhàn)的制約：復(fù)雜系統(tǒng)固有的標(biāo)注數(shù)據(jù)稀缺性，以及現(xiàn)實(shí)世界交互模式中結(jié)構(gòu)噪聲的脆弱性。傳統(tǒng)的數(shù)據(jù)增強(qiáng)方法雖然在歐幾里得空間和圖結(jié)構(gòu)領(lǐng)域取得了成功，但難以保持節(jié)點(diǎn)特征與超邊語(yǔ)義之間錯(cuò)綜復(fù)雜的平衡，往往會(huì)破壞定義超圖價(jià)值的組級(jí)交互本身。為彌補(bǔ)這一差距，我們提出了 HyperMixup，這是一種超圖感知的增強(qiáng)框架，通過(guò)結(jié)構(gòu)引導(dǎo)的特征混合來(lái)保持高階交互模式。具體而言，HyperMixup 包含三個(gè)關(guān)鍵組件：1) 由聯(lián)合特征-超邊相似性度量引導(dǎo)的結(jié)構(gòu)感知節(jié)點(diǎn)配對(duì)，2) 通過(guò)雙層特征融合保持超邊語(yǔ)義的上下文增強(qiáng)型層次混合，以及 3) 在保持超圖一致性的同時(shí)實(shí)現(xiàn)可控多樣性擴(kuò)展的自適應(yīng)拓?fù)渲貥?gòu)機(jī)制。在理論上，我們證明了我們的方法通過(guò)與超邊協(xié)方差結(jié)構(gòu)的梯度對(duì)齊誘導(dǎo)超圖特定的正則化效果，同時(shí)針對(duì)組合節(jié)點(diǎn)-超邊擾動(dòng)提供魯棒性保證。在多樣化超圖學(xué)習(xí)任務(wù)上的綜合實(shí)驗(yàn)表明，與最先進(jìn)基線方法相比，性能得到了一致的提升，尤其在低標(biāo)簽機(jī)制下效果顯著。所提出的框架通過(guò)將數(shù)據(jù)增強(qiáng)與高階拓?fù)浼s束相統(tǒng)一，推進(jìn)了超圖表示學(xué)習(xí)，為關(guān)系機(jī)器學(xué)習(xí)提供了實(shí)用價(jià)值和理論見(jiàn)解。

1 引言

現(xiàn)代復(fù)雜系統(tǒng)——從社交網(wǎng)絡(luò)和分子相互作用到知識(shí)圖譜——本質(zhì)上以多路交互模式為特征 [1, 2]。傳統(tǒng)圖結(jié)構(gòu)局限于成對(duì)關(guān)系建模，無(wú)法充分捕捉這些高階語(yǔ)義 [3]。超圖通過(guò)超邊成為組級(jí)交互表示的自然范式，提供了一個(gè)更具表現(xiàn)力的數(shù)學(xué)框架。超圖神經(jīng)網(wǎng)絡(luò)（HGNNs）[4] 通過(guò)超邊驅(qū)動(dòng)的消息傳遞進(jìn)一步推進(jìn)了這一能力，在學(xué)術(shù)引用分類和多模態(tài)物體識(shí)別等任務(wù)中展現(xiàn)出顯著的成功。然而，不斷升級(jí)的模型復(fù)雜度與現(xiàn)實(shí)場(chǎng)景中標(biāo)注數(shù)據(jù)的稀缺性形成鮮明對(duì)比——這是高標(biāo)注成本（例如，生物分子相互作用預(yù)測(cè)）或易受噪聲影響的標(biāo)注過(guò)程（例如，演化中的社交網(wǎng)絡(luò)）應(yīng)用中的一個(gè)關(guān)鍵瓶頸。

數(shù)據(jù)增強(qiáng)已成為緩解數(shù)據(jù)稀缺的關(guān)鍵技術(shù)，但在超圖學(xué)習(xí)中面臨獨(dú)特的挑戰(zhàn)。為歐幾里得數(shù)據(jù)（例如，圖像）或普通圖（例如，Mixup [5]、GraphMixup [6]）設(shè)計(jì)的傳統(tǒng)增強(qiáng)方法依賴于局部線性插值或隨機(jī)結(jié)構(gòu)擾動(dòng)。這些操作有破壞超邊約束的組語(yǔ)義的風(fēng)險(xiǎn)——例如，在學(xué)術(shù)合作超圖中隨機(jī)混合作者節(jié)點(diǎn)可能會(huì)切斷它們與出版場(chǎng)所（超邊）的關(guān)聯(lián)，從而侵蝕關(guān)鍵的“研究領(lǐng)域一致性”。從根本上說(shuō)，有效的超圖增強(qiáng)必須同時(shí)滿足三個(gè)約束：(1) 節(jié)點(diǎn)特征與超邊上下文之間的語(yǔ)義對(duì)齊，(2) 合成樣本中對(duì)原始高階拓?fù)浣Y(jié)構(gòu)的繼承，以及 (3) 在聯(lián)合節(jié)點(diǎn)-超邊空間中對(duì)對(duì)抗性噪聲的可控傳播。現(xiàn)有方法通常孤立地處理這些維度，導(dǎo)致偏離超圖流形的內(nèi)在幾何結(jié)構(gòu)。

為了解決這些挑戰(zhàn)，我們提出了 HyperMixup——一種專門為超圖結(jié)構(gòu)設(shè)計(jì)的增強(qiáng)框架。我們的方法采用結(jié)構(gòu)感知節(jié)點(diǎn)選擇，在混合過(guò)程中動(dòng)態(tài)融合節(jié)點(diǎn)特征與超邊上下文，同時(shí)通過(guò)最近鄰親和力閾值自適應(yīng)地重構(gòu)超邊成員關(guān)系。這確保了在嚴(yán)格保持組語(yǔ)義一致性的同時(shí)增強(qiáng)多樣性。在理論上，HyperMixup 誘導(dǎo)與超邊協(xié)方差結(jié)構(gòu)對(duì)齊的梯度更新，并針對(duì)組合節(jié)點(diǎn)-超邊擾動(dòng)提供可證明的魯棒性界。這些特性使得模型能夠抵御現(xiàn)實(shí)世界的混合噪聲，并在極端標(biāo)簽稀缺下實(shí)現(xiàn)穩(wěn)定的泛化。

在多樣化的超圖基準(zhǔn)測(cè)試（引用網(wǎng)絡(luò)、3D物體識(shí)別）上進(jìn)行的廣泛實(shí)驗(yàn)驗(yàn)證了HyperMixup的有效性。結(jié)果表明，與基于圖的增強(qiáng)變體相比，性能有顯著提升，特別是在低標(biāo)簽機(jī)制下。這些發(fā)現(xiàn)強(qiáng)調(diào)了高階拓?fù)浼s束在數(shù)據(jù)增強(qiáng)中的核心地位，同時(shí)為超圖表示學(xué)習(xí)建立了新的方法論視角。

我們的主要貢獻(xiàn)有三點(diǎn)：

? 一個(gè)專為超圖定制的增強(qiáng)框架（HyperMixup），它將混合操作與高階拓?fù)浼s束協(xié)同優(yōu)化；

? 將梯度對(duì)齊與超邊協(xié)方差結(jié)構(gòu)聯(lián)系起來(lái)的理論基礎(chǔ)，并針對(duì)混合擾動(dòng)提供認(rèn)證的魯棒性保證；

? 跨多樣化任務(wù)的系統(tǒng)性實(shí)證驗(yàn)證，推動(dòng)了開(kāi)放環(huán)境應(yīng)用中的超圖學(xué)習(xí)。

2 相關(guān)工作

原始的 Mixup [5] 在歐幾里得空間中對(duì)樣本進(jìn)行線性插值，這啟發(fā)了旨在增強(qiáng)語(yǔ)義一致性的變體：像 CutMix [7] 和 AlignMix [8] 這樣的空間混合方法采用帶有顯著性引導(dǎo)的區(qū)域替換，而像 Manifold Mixup [9] 和 StyleMix [10] 這樣的特征空間方法則作用于隱藏表示或解耦特征上。最近的工作通過(guò)注意力機(jī)制 [11] 或多目標(biāo)公式 [12] 進(jìn)一步優(yōu)化了混合策略。然而，這些方法在插值過(guò)程中根本上假設(shè)了歐幾里得凸性——這一前提被超圖的非歐幾里得交互空間所否定，因?yàn)樵谄渲芯€性組合可能會(huì)違反組語(yǔ)義。

圖增強(qiáng)策略因任務(wù)粒度而異：對(duì)于圖分類，隨機(jī)結(jié)構(gòu)擾動(dòng) [13] 和圖元（graphon）插值 [14] 生成總體級(jí)別的變體，而像 GraphMix [15] 和 GraphMixup [6] 這樣的節(jié)點(diǎn)級(jí)方法則將節(jié)點(diǎn)特征與標(biāo)簽傳播相融合。然而，這些方法繼承了基于圖的成對(duì)交互假設(shè)，限制了它們?cè)诔瑘D上的適用性。

基于 HGNN [4] 的兩階段消息傳遞，最近的進(jìn)展集中在基于注意力的聚合（HyperGAT [16], HyperAtten [17]）、譜適應(yīng)（HyperGCN [18]）和非線性變換 [19] 上。超圖的增強(qiáng)技術(shù)仍未得到充分探索，初步嘗試要么依賴外部知識(shí) [20]，要么依賴簡(jiǎn)單的邊丟棄（edge dropout）[21]——兩者均未解決拓?fù)涓兄逯颠@一核心挑戰(zhàn)。值得注意的是，現(xiàn)有方法在增強(qiáng)過(guò)程中未能保留節(jié)點(diǎn)與超邊之間的協(xié)方差結(jié)構(gòu)，而這是我們理論分析中確定的維持語(yǔ)義一致性的關(guān)鍵因素。

3 方法論

3.1 超圖表示

3.2 語(yǔ)義特征混合

我們的 HyperMixup 框架引入了三種協(xié)同的混合操作，旨在增強(qiáng)數(shù)據(jù)增強(qiáng)的同時(shí)保持超圖語(yǔ)義，如圖 1 所示。其關(guān)鍵創(chuàng)新在于在拓?fù)浼s束下對(duì)節(jié)點(diǎn)特征、超邊關(guān)系和標(biāo)簽進(jìn)行聯(lián)合插值。

超邊感知的節(jié)點(diǎn)選擇 混合過(guò)程始于語(yǔ)義感知的節(jié)點(diǎn)配對(duì)。與隨機(jī)選擇樣本的傳統(tǒng) Mixup 不同，我們采用了一種結(jié)構(gòu)保持策略。對(duì)于每條超邊 ，我們通過(guò)度歸一化聚合計(jì)算其特征表示：

保拓?fù)涑呏貥?gòu)（Topology-Preserving Hyperedge Reconstruction） 合成節(jié)點(diǎn)必須繼承有意義的超邊連接，以保持圖的一致性。我們開(kāi)發(fā)了一種自適應(yīng)繼承機(jī)制：

3.3 優(yōu)化目標(biāo)與訓(xùn)練策略

鄰域風(fēng)險(xiǎn)最小化（Vicinal Risk Minimization, VRM）[22] 是一種數(shù)據(jù)增強(qiáng)原則，它通過(guò)在原始訓(xùn)練數(shù)據(jù)周圍定義一個(gè)“鄰域”（vicinity）來(lái)生成合成樣本。與僅依賴于觀測(cè)樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（Empirical Risk Minimization, ERM）不同，VRM 利用領(lǐng)域知識(shí)來(lái)建模數(shù)據(jù)點(diǎn)在其局部鄰域內(nèi)的相互關(guān)系。在超圖中，這要求定義一個(gè)既能保留節(jié)點(diǎn)特征又能保留超邊中編碼的高階語(yǔ)義的鄰域。

其中超邊平滑性和標(biāo)簽一致性項(xiàng)在反向傳播過(guò)程中通過(guò)梯度歸一化自動(dòng)縮放。這消除了對(duì)手動(dòng)超參數(shù)調(diào)整的需求，同時(shí)保持了正則化的有效性。

訓(xùn)練過(guò)程遵循三個(gè)自洽階段：1) 使用公式 (5)-(7) 通過(guò)特征混合生成合成節(jié)點(diǎn)，2) 通過(guò)公式 (8) 進(jìn)行拓?fù)溥m應(yīng)以更新超邊，以及 3) 通過(guò)統(tǒng)一梯度下降進(jìn)行參數(shù)優(yōu)化：

4 理論分析

4.1 通過(guò)超圖 Mixup 進(jìn)行正則化

現(xiàn)代基于圖的 Mixup 技術(shù) [15] 主要關(guān)注成對(duì)關(guān)系，在處理超圖固有高階交互方面存在關(guān)鍵空白。傳統(tǒng)方法對(duì)節(jié)點(diǎn)特征和標(biāo)簽進(jìn)行線性插值，卻忽略了超邊施加的復(fù)雜拓?fù)浼s束。這種局限性在超圖場(chǎng)景中變得尤為明顯，在這些場(chǎng)景中，多路關(guān)系編碼了本質(zhì)的語(yǔ)義結(jié)構(gòu)——例如，在學(xué)術(shù)引用網(wǎng)絡(luò)中，發(fā)表 venue（超邊）連接了多篇相關(guān)論文（節(jié)點(diǎn)）。

關(guān)鍵挑戰(zhàn)在于在 Mixup 過(guò)程中保持超邊誘導(dǎo)的語(yǔ)義一致性。我們的理論分析通過(guò)確立以下幾點(diǎn)來(lái)解決這一問(wèn)題：(1) 超邊特征應(yīng)如何調(diào)節(jié)混合過(guò)程，(2) 源于超圖感知插值的正則化效果是什么，以及 (3) 為何這些效果能比傳統(tǒng)圖 Mixup 更好地提升泛化能力。

4.2 對(duì)抗魯棒性

超圖學(xué)習(xí)的對(duì)抗脆弱性源于兩個(gè)基本方面：(1) 涵蓋節(jié)點(diǎn)特征和超邊關(guān)系的高維攻擊面，以及 (2) 級(jí)聯(lián)效應(yīng)，即對(duì)單個(gè)超邊的擾動(dòng)可以傳播到多個(gè)連接節(jié)點(diǎn)。傳統(tǒng)的 mixup 方法 [5] 主要為歐幾里得數(shù)據(jù)提供魯棒性保證，假設(shè)樣本間的擾動(dòng)是獨(dú)立的。然而，在超圖中，節(jié)點(diǎn)和超邊的相互依賴性質(zhì)產(chǎn)生了違反這種獨(dú)立性假設(shè)的相關(guān)攻擊向量——對(duì)抗者可以同時(shí)擾動(dòng)節(jié)點(diǎn)的特征及其在關(guān)鍵超邊中的成員關(guān)系。在本節(jié)中，我們旨在證明 HyperMixup 通過(guò)其超邊感知混合策略固有地限制了此類相關(guān)攻擊的影響。具體而言，我們力求證明所提出的方法：

4.3 泛化能力

超圖 Mixup 的泛化分析面臨兩個(gè)獨(dú)特的挑戰(zhàn)：一是與成對(duì)圖相比，超邊配置呈現(xiàn)出的指數(shù)級(jí)復(fù)雜度，這放大了源于虛假相關(guān)性的過(guò)擬合風(fēng)險(xiǎn)；二是超邊內(nèi)部存在異構(gòu)的交互強(qiáng)度，其中核心節(jié)點(diǎn)和邊緣節(jié)點(diǎn)表現(xiàn)出不同的耦合程度。傳統(tǒng)的圖泛化理論被證明是不夠的，因?yàn)樗鼈兒雎粤诉@些高階動(dòng)態(tài)，這一點(diǎn)在現(xiàn)實(shí)世界的場(chǎng)景中尤為明顯，例如在社交標(biāo)簽系統(tǒng)中，用戶以不同的投入程度參與超邊。我們的框架通過(guò)建立三個(gè)相互關(guān)聯(lián)的目標(biāo)來(lái)解決這一問(wèn)題：1) 通過(guò)超邊感知混合來(lái)量化拓?fù)涮卣鞯谋３郑?) 利用超圖譜性質(zhì)控制模型復(fù)雜度；以及 3) 平衡局部節(jié)點(diǎn)變化與全局超邊約束。這些組件協(xié)同交互——譜特征主導(dǎo)拓?fù)浔３?，?jié)點(diǎn)-超邊協(xié)方差結(jié)構(gòu)支配復(fù)雜度控制，而混合參數(shù) γ γ 調(diào)節(jié)局部與全局的平衡——從而形成了一個(gè)統(tǒng)一的理論基礎(chǔ)，防止了樸素插值方法中常見(jiàn)的語(yǔ)義違背。

5 實(shí)驗(yàn)

在本節(jié)中，我們?cè)趦身?xiàng)任務(wù)上評(píng)估了我們提出的 HyperMixup：引文網(wǎng)絡(luò)分類和視覺(jué)對(duì)象識(shí)別。我們還將所提出的方法與圖卷積網(wǎng)絡(luò)以及其他最先進(jìn)的方法進(jìn)行了比較。

5.1 引文網(wǎng)絡(luò)與視覺(jué)對(duì)象分類

數(shù)據(jù)集 我們?cè)趦蓚€(gè)截然不同的任務(wù)上評(píng)估 HyperMixup 以展示其泛化能力：1) 引文網(wǎng)絡(luò)分類。遵循 HGNN [4] 的實(shí)驗(yàn)協(xié)議，我們采用了三個(gè)基準(zhǔn)數(shù)據(jù)集——Cora、PubMed 和 CiteSeer [23]。每個(gè)節(jié)點(diǎn)代表一個(gè)具有詞袋特征的文檔，而文檔之間的引用形成了成對(duì)邊。為了構(gòu)建超邊，我們基于特征相似度應(yīng)用 K近鄰（KNN），將文檔分組為代表主題簇的超邊。生成的超圖關(guān)聯(lián)矩陣隨后通過(guò)基于度的歸一化進(jìn)行細(xì)化，然后輸入到 HGNN 架構(gòu)中。數(shù)據(jù)集統(tǒng)計(jì)數(shù)據(jù)總結(jié)于表 1。2) 視覺(jué)對(duì)象識(shí)別。采用了兩個(gè) 3D 對(duì)象數(shù)據(jù)集：ModelNet40 [24]（跨越 40 個(gè)類別的 12,311 個(gè)對(duì)象）和 NTU2012 [25]（67 個(gè)類別中的 2,012 個(gè)對(duì)象）。遵循 80-20 的訓(xùn)練-測(cè)試劃分慣例，我們使用 MVCNN [26] 和 GVCNN [27] 提取多視圖特征。超邊是通過(guò)結(jié)合幾何鄰近度（基于 3D 坐標(biāo)的 KNN）和特征相似度（CNN 特征空間中的余弦距離）連接對(duì)象構(gòu)建的，從而構(gòu)建出一種多模態(tài)超圖表示。

實(shí)驗(yàn)設(shè)置 實(shí)驗(yàn)設(shè)置遵循 HGNN[4] 中的設(shè)定。所有數(shù)據(jù)集的超參數(shù)設(shè)置如下：使用學(xué)習(xí)率 lr = 0.001 的 Adam 優(yōu)化器。層數(shù) L = 2，隱藏層維度 F = 16；在增強(qiáng)混合模塊中，我們?cè)O(shè)定 p = 0.45，參數(shù) q 根據(jù)數(shù)據(jù)集進(jìn)行選擇并在 0.72 左右波動(dòng)，參數(shù) l 則依據(jù)數(shù)據(jù)集的選擇確定，從而導(dǎo)致最近鄰樣本的比例有所變化。在這些實(shí)驗(yàn)中，我們還將提出的 HyperMixup 與原始的 HGNN 方法進(jìn)行了對(duì)比。GAT[28] 引入了一種注意力機(jī)制，用于動(dòng)態(tài)確定相鄰節(jié)點(diǎn)對(duì)中心節(jié)點(diǎn)表示的貢獻(xiàn)度，使其成為圖神經(jīng)網(wǎng)絡(luò)中的代表性模型之一。GraphSAGE[29] 是一種圖神經(jīng)網(wǎng)絡(luò)框架，它通過(guò)鄰居采樣和特征聚合生成節(jié)點(diǎn)表示，并具有利用多種聚合函數(shù)的靈活性。GraphConv[30] 受 k 維 Weisfeiler-Leman 算法啟發(fā)，引入了 k 維圖神經(jīng)網(wǎng)絡(luò)（k-GNNs），使模型能夠有效捕捉多尺度和高階圖結(jié)構(gòu)。HyperGCN[18] 利用超圖的譜性質(zhì)，通過(guò)適配 GCN 模型使其直接在超圖結(jié)構(gòu)上運(yùn)行，從而進(jìn)行半監(jiān)督學(xué)習(xí)?；?HGNN 提出的卷積框架，Hyper-Atten[17] 融入了一種超邊到頂點(diǎn)的注意力機(jī)制，能夠自適應(yīng)地捕捉每個(gè)超邊內(nèi)頂點(diǎn)的不同重要性。實(shí)驗(yàn)環(huán)境配置如下：Intel(R) Xeon(R) Gold 6254 CPU @ 3.10GHz，36 核，512 G 內(nèi)存，NVIDIA RTX 3090 GPU。

結(jié)果與討論 在我們的實(shí)驗(yàn)設(shè)置中，引文網(wǎng)絡(luò)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果及對(duì)比展示在表 2 中。結(jié)果表明，與原始 HGNN 模型相比，我們的 HyperMixup 方法實(shí)現(xiàn)了最佳或相當(dāng)?shù)男阅?。具體而言，與原始 HGNN 相比，所提出的 HyperMixup 方法在 Cora 數(shù)據(jù)集上實(shí)現(xiàn)了 1.5% 的提升，在 Pubmed 數(shù)據(jù)集上實(shí)現(xiàn)了 1.1% 的提升，在 CiteSeer 數(shù)據(jù)集上實(shí)現(xiàn)了 0.8% 的提升。對(duì)于視覺(jué)對(duì)象數(shù)據(jù)集，該方法在 ModelNet40 數(shù)據(jù)集上實(shí)現(xiàn)了 0.3% 的提升，在 NTU2012 數(shù)據(jù)集上實(shí)現(xiàn)了 1% 的提升。綜合實(shí)驗(yàn)表明，經(jīng) HyperMixup 訓(xùn)練的 HGNN 實(shí)現(xiàn)了卓越的性能和泛化能力，同時(shí)也增強(qiáng)了模型對(duì)噪聲標(biāo)簽和受損拓?fù)浣Y(jié)構(gòu)的魯棒性。

5.2 與基于圖的增強(qiáng)及基于團(tuán)擴(kuò)展的 HGNNs 的比較

為了評(píng)估所提方法的有效性，我們將所提方法與成熟的基于圖的增強(qiáng)方法 [6, 31] 進(jìn)行了直接比較，具體做法是將這些方法應(yīng)用于標(biāo)準(zhǔn)圖神經(jīng)網(wǎng)絡(luò)以及基于團(tuán)擴(kuò)展的超圖神經(jīng)網(wǎng)絡(luò)（如 HGNN 和 HGNN+），如表 3 所示。

5.3 魯棒性分析

為了進(jìn)一步證明我們提出方法的有效性，我們?cè)诠?jié)點(diǎn)分類任務(wù)的不確定性場(chǎng)景下評(píng)估了 GCN[32]、HGNN[4] 和 HGNN+[33] 的性能，特別關(guān)注諸如缺失值等挑戰(zhàn)。具體而言，我們?cè)诘蜆?biāo)簽率（Low Label Rate, LLR）設(shè)置下在 Cora 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，該設(shè)置引入了潛在噪聲并顯著影響分類性能。對(duì)于 LLR 設(shè)置，我們使用五種不同的標(biāo)簽率訓(xùn)練這些模型：0.025、0.02、0.015、0.01、0.005。測(cè)試準(zhǔn)確率展示在圖 2 中。雖然基線模型的性能隨著標(biāo)簽率的降低而迅速惡化，但我們的 HyperMixup 即使在標(biāo)簽可用性極低的情況下也能保持強(qiáng)勁的性能。這證明了 HyperMixup 在處理基于超圖的節(jié)點(diǎn)分類中的標(biāo)簽稀疏性和不確定性方面具有魯棒性。

5.4 超參數(shù)分析

我們對(duì)我們模型中的關(guān)鍵超參數(shù)進(jìn)行了系統(tǒng)的敏感性分析，因?yàn)樗鼈兊倪x擇顯著影響整體性能。與 HGNN 相比，我們提出的方法引入了三個(gè)額外的超參數(shù)： p p（兩組節(jié)點(diǎn)特征之間的混合比例）、 q q（節(jié)點(diǎn)特征與節(jié)點(diǎn)-超邊關(guān)系特征之間的比例），以及 l l（新生成節(jié)點(diǎn)與節(jié)點(diǎn)對(duì)數(shù)量的比例）。在圖 3 中，我們?cè)诒３至硗鈨蓚€(gè)參數(shù)處于最優(yōu)值的同時(shí)，單獨(dú)調(diào)整每個(gè)參數(shù)。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，超參數(shù) p p 的合適范圍在 0.45 到 0.5 之間，這與我們的初始假設(shè)一致。這是因?yàn)樵谑褂糜嘞蚁嗨贫葧r(shí)，兩個(gè)節(jié)點(diǎn)被視為同等對(duì)待。參數(shù) l l 的值顯示出一定的波動(dòng)——生成的節(jié)點(diǎn)過(guò)多可能會(huì)輕微扭曲超圖結(jié)構(gòu)，而過(guò)少則可能無(wú)法增強(qiáng)泛化能力。然而，在這兩種情況下性能均未顯著下降，表明生成的節(jié)點(diǎn)分布與原始數(shù)據(jù)集分布吻合良好。至于 q q，性能雖有波動(dòng)，但隨著 q q 的增加往往會(huì)有所提升。這意味著在混合樣本分布中，節(jié)點(diǎn)特征的貢獻(xiàn)比源自超邊的特征更為顯著。總體而言，本研究中使用的超參數(shù)——作為生成鄰域相似樣本分布的基礎(chǔ)——表現(xiàn)出強(qiáng)大的魯棒性，并在不同的數(shù)據(jù)分布中展現(xiàn)了良好的泛化能力。

6 結(jié)論

我們提出了 HyperMixup，這是一個(gè)超圖感知增強(qiáng)框架，旨在系統(tǒng)性地解決節(jié)點(diǎn)特征與高階拓?fù)浼s束之間的相互作用。通過(guò)將結(jié)構(gòu)引導(dǎo)的節(jié)點(diǎn)配對(duì)與自適應(yīng)拓?fù)渲貥?gòu)相結(jié)合，我們的方法在生成多樣化合成樣本的同時(shí)保留了超邊語(yǔ)義。理論分析表明，HyperMixup 固有地將梯度更新與超邊協(xié)方差結(jié)構(gòu)對(duì)齊，從而針對(duì)混合擾動(dòng)提供了魯棒性。在引文網(wǎng)絡(luò)和多模態(tài)數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了它優(yōu)于基于圖的增強(qiáng)方法，特別是在低資源和噪聲學(xué)習(xí)場(chǎng)景中。這項(xiàng)工作建立了 mixup 正則化與超圖幾何之間的原則性聯(lián)系，為復(fù)雜交互系統(tǒng)中可靠的關(guān)系學(xué)習(xí)奠定了基礎(chǔ)。有兩個(gè)局限性值得進(jìn)一步研究：(1) 超邊協(xié)方差對(duì)齊的計(jì)算開(kāi)銷隨超邊大小呈立方級(jí)增長(zhǎng)，這對(duì)大型超圖的應(yīng)用構(gòu)成了挑戰(zhàn)；(2) 當(dāng)前實(shí)現(xiàn)假設(shè)超圖是靜態(tài)的，而現(xiàn)實(shí)世界的交互網(wǎng)絡(luò)通常是動(dòng)態(tài)演化的。

原文鏈接：https://neurips.cc/virtual/2025/loc/san-diego/poster/115821