上海
HyperNATE：基于注意力的張量超圖神經(jīng)網(wǎng)絡(luò)規(guī)?；?/strong>
HyperNATE: Scaling Tensor-Based Hypergraph Neural Networks Through Attention
http://10.1016/j.neunet.2026.109139
Highlights（亮點(diǎn)）
- HyperNATE 解耦了基于張量的消息傳遞，以實(shí)現(xiàn)可擴(kuò)展的超圖處理。
- 重新設(shè)計(jì)的注意力機(jī)制緩解了過(guò)平滑（oversmoothing）現(xiàn)象，并能處理異配（heterophilic）超邊。
- 高通濾波改善了異配超圖數(shù)據(jù)集中的特征傳播。
- 超邊采樣降低了熵，增強(qiáng)了在大型異構(gòu)（heterogeneous）超圖上的性能。
- 實(shí)證結(jié)果表明 HyperNATE 速度快 10-100 倍，且達(dá)到了具有競(jìng)爭(zhēng)力的準(zhǔn)確率。
摘要：
超圖對(duì)于建模復(fù)雜系統(tǒng)中普遍存在的高階交互至關(guān)重要，因而需要專(zhuān)門(mén)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。超圖神經(jīng)網(wǎng)絡(luò)（HGNNs）雖已廣泛流行，但仍面臨關(guān)鍵性局限。基于張量的超圖神經(jīng)網(wǎng)絡(luò)（t-HGNNs）雖能通過(guò)張量表示捕捉豐富的多路依賴(lài)關(guān)系，卻因其消息傳遞機(jī)制帶來(lái)高昂的計(jì)算成本，嚴(yán)重阻礙了可擴(kuò)展性。此外，許多超圖神經(jīng)網(wǎng)絡(luò)隱含地依賴(lài)于同配性（homophily）假設(shè)，限制了其在呈現(xiàn)異配性（heterophily）的數(shù)據(jù)集上的有效性——在這些數(shù)據(jù)集中，相連節(jié)點(diǎn)具有不相似的特征。為克服上述挑戰(zhàn)，我們提出了超圖鄰域聚合變換器編碼器（Hypergraph Neighborhood Aggregation Transformer Encoder, HyperNATE），一種新型神經(jīng)網(wǎng)絡(luò)架構(gòu)。HyperNATE 通過(guò)預(yù)計(jì)算，將計(jì)算密集的基于張量的消息聚合過(guò)程從主訓(xùn)練循環(huán)中解耦。該架構(gòu)采用變換器編碼器設(shè)計(jì)，利用自注意力機(jī)制實(shí)現(xiàn)并行化的多跳鄰域聚合。關(guān)鍵在于，HyperNATE 在鄰域聚合過(guò)程中引入了高通濾波器，從而增強(qiáng)了其在異配性場(chǎng)景下捕捉判別性特征的能力，并緩解過(guò)平滑（oversmoothing）現(xiàn)象。在節(jié)點(diǎn)分類(lèi)基準(zhǔn)任務(wù)上的實(shí)證評(píng)估表明，HyperNATE 的訓(xùn)練速度比基于張量的超圖神經(jīng)網(wǎng)絡(luò)快 10–100 倍，同時(shí)達(dá)到了最先進(jìn)的性能表現(xiàn)。值得注意的是，該模型在大型超圖及具有異配性特征的數(shù)據(jù)集上展現(xiàn)出強(qiáng)勁的能力。
關(guān)鍵詞 超圖；神經(jīng)網(wǎng)絡(luò)；信號(hào)處理；節(jié)點(diǎn)分類(lèi)；Transformer
引言
建模復(fù)雜系統(tǒng)通常需要捕捉超出簡(jiǎn)單成對(duì)關(guān)系的交互作用。超圖為這種高階依賴(lài)關(guān)系提供了一個(gè)自然的數(shù)學(xué)框架，能夠同時(shí)表示涉及多個(gè)實(shí)體的群體交互 Bretto (2013); Juul 等 (2024); Veldt 等 (2023)?？珙I(lǐng)域超圖結(jié)構(gòu)數(shù)據(jù)的日益豐富——從分子化學(xué) Chen 和 Schwaller (2024) 和神經(jīng)科學(xué) Xiao 等 (2019)，到基因組學(xué) Vinas 等 (2023) 和推薦系統(tǒng) Gatta 等 (2023)——推動(dòng)了專(zhuān)門(mén)的超圖神經(jīng)網(wǎng)絡(luò)（HGNNs）的發(fā)展 Feng 等 (2019)。這些架構(gòu)通常將圖神經(jīng)網(wǎng)絡(luò)（GNNs）所普及的消息傳遞范式 Gilmer 等 (2017) 進(jìn)行擴(kuò)展，以在超圖結(jié)構(gòu)上運(yùn)行。
然而，設(shè)計(jì)有效的HGNNs面臨顯著困難。在捕捉超圖獨(dú)有的高階結(jié)構(gòu)信息與保持計(jì)算效率之間存在核心張力。許多現(xiàn)有的HGNNs通過(guò)簡(jiǎn)化超圖來(lái)實(shí)現(xiàn)可擴(kuò)展性，通常通過(guò)團(tuán)擴(kuò)展（clique expansion）等方法將其映射為標(biāo)準(zhǔn)圖 Dong 等 (2020)。盡管計(jì)算成本更低，但這種簡(jiǎn)化可能會(huì)丟棄使超圖具有強(qiáng)大能力的高階依賴(lài)關(guān)系 Wang (2025)。相反，基于張量的HGNNs（t-HGNNs）Wang 等 (2025) 直接利用鄰接張量來(lái)保留這些多路交互，展現(xiàn)出強(qiáng)大的表達(dá)能力。然而，這是有代價(jià)的：其基于張量的消息傳遞（t-MP）涉及復(fù)雜且昂貴的操作，導(dǎo)致計(jì)算需求高得令人望而卻步，尤其在大型超圖上更是如此 Wang 等 (2025)。例如，考慮一個(gè)超邊最大基數(shù)為10且包含6個(gè)節(jié)點(diǎn)的超邊的超圖，對(duì)于單個(gè)節(jié)點(diǎn)和單個(gè)特征，t-消息傳遞（t-MP）需要經(jīng)過(guò)3003次排列的循環(huán)并計(jì)算1261次浮點(diǎn)運(yùn)算。這一瓶頸嚴(yán)重限制了它們的實(shí)際應(yīng)用能力。
除了表達(dá)能力與可擴(kuò)展性之間的權(quán)衡外，HGNNs還面臨進(jìn)一步挑戰(zhàn)，這些挑戰(zhàn)通常繼承自其GNN前身。其一是過(guò)平滑（oversmoothing）現(xiàn)象，即重復(fù)的消息傳遞導(dǎo)致節(jié)點(diǎn)表示變得越來(lái)越相似，從而喪失判別力 Chen 等 (2022a)。由于標(biāo)準(zhǔn)消息傳遞通常充當(dāng)圖信號(hào)的低通濾波器，這一問(wèn)題尤為突出。另一挑戰(zhàn)源于普遍存在的同配性（homophily）假設(shè)，即相連節(jié)點(diǎn)往往相似。許多現(xiàn)實(shí)世界的超圖違反了這一假設(shè)，表現(xiàn)出顯著的異配性（heterophily），即連接往往鏈接不相似的節(jié)點(diǎn) Luan 等 (2022); Telyatnikov 等 (2023)。隱式或顯式針對(duì)同配性設(shè)計(jì)的HGNN架構(gòu)可能在這些常見(jiàn)的異配性場(chǎng)景中表現(xiàn)不佳。
GNNs的最新進(jìn)展，特別是Transformer架構(gòu)的使用 Vaswani 等 (2017) 以及類(lèi)似Hop2Token的鄰域聚合策略 Chen 等 (2022b)，提供了潛在的解決方案。這些方法通過(guò)將消息傳遞與主訓(xùn)練循環(huán)解耦并利用自注意力機(jī)制，可以提高可擴(kuò)展性并建模長(zhǎng)程依賴(lài)關(guān)系。盡管前景廣闊，但直接將這些基于圖的方法遷移到超圖上是不足夠的。后一種方法還會(huì)放大GNN中的過(guò)平滑問(wèn)題。具體而言，所實(shí)現(xiàn)的消息傳遞可被視為應(yīng)用于圖信號(hào)的一系列低通濾波器 Ortega (2022)。因此，通過(guò)聚合越來(lái)越平滑的信號(hào)，最終的節(jié)點(diǎn)表示僅結(jié)合了低頻譜分量，限制了模型保留高頻判別性特征的能力。
這一背景引出了關(guān)鍵問(wèn)題：首先，我們能否設(shè)計(jì)一種HGNN架構(gòu)，使其既能受益于張量表示的表達(dá)能力，又無(wú)需承擔(dān)其高昂的計(jì)算成本？其次，我們?nèi)绾尉徑獯祟?lèi)模型中的過(guò)平滑問(wèn)題？第三，我們能否有效處理異配性超邊？
在本文中，我們提出了超圖鄰域聚合Transformer編碼器（Hypergraph Neighborhood Aggregation Transformer Encoder, HyperNATE）以解決這些問(wèn)題。如圖1所示，HyperNATE引入了多項(xiàng)架構(gòu)創(chuàng)新。首先，它通過(guò)將鄰域聚合概念 Chen 等 (2022b) 適配于超圖來(lái)解決可擴(kuò)展性問(wèn)題，離線預(yù)計(jì)算基于張量的消息傳遞（t-MP）以生成后續(xù)Transformer編碼器的輸入序列（token）。這將昂貴的t-MP與訓(xùn)練循環(huán)解耦。其次，為了對(duì)抗過(guò)平滑并提升在異配性數(shù)據(jù)上的性能，HyperNATE在預(yù)計(jì)算階段引入了高通濾波器，并采用了一種具有單調(diào)注意力約束的重新設(shè)計(jì)的讀出（readout）機(jī)制。該濾波器保留了區(qū)分節(jié)點(diǎn)至關(guān)重要的信號(hào)高頻分量，尤其在異配性場(chǎng)景中，而單調(diào)注意力則優(yōu)先關(guān)注局部信息。第三，認(rèn)識(shí)到稀疏的輸入特征會(huì)阻礙有效的t-MP（由于其乘法特性），我們引入了一個(gè)獨(dú)立于圖結(jié)構(gòu)訓(xùn)練的特征表示學(xué)習(xí)模塊，以便在鄰域聚合之前生成密集且信息豐富的節(jié)點(diǎn)嵌入。
本文的主要貢獻(xiàn)如下：
? 我們提出了HyperNATE，一種新型的HGNN架構(gòu)，它將用于表達(dá)能力的基于張量的消息傳遞與用于有效聚合的Transformer編碼器相結(jié)合，同時(shí)通過(guò)預(yù)計(jì)算解耦t-MP來(lái)實(shí)現(xiàn)可擴(kuò)展性。
? 我們?cè)卩徲蚓酆线^(guò)程中引入了高通濾波機(jī)制，專(zhuān)門(mén)設(shè)計(jì)用于緩解過(guò)平滑并提升在呈現(xiàn)異配性的超圖上的性能。
? 我們重新設(shè)計(jì)了具有單調(diào)性約束的Transformer讀出注意力，以平衡局部與全局信息的聚合。
? 我們證明了在預(yù)計(jì)算期間的超邊采樣可以降低熵，并提升在大型異構(gòu)超邊上的性能。
? 我們通過(guò)實(shí)證表明，與t-HGNNs相比，HyperNATE顯著加快了訓(xùn)練速度（10-100倍），同時(shí)在節(jié)點(diǎn)分類(lèi)任務(wù)上達(dá)到了具有競(jìng)爭(zhēng)力或最先進(jìn)的性能。
原文鏈接： http://10.1016/j.neunet.2026.109139
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
飛總聊IT
