超圖模式機：面向高階交互的組合式標記化

超圖模式機：面向高階交互的組合式標記化

Hypergraph Pattern Machine: CompositionalTokenization for Higher-Order Interactions

https://arxiv.org/pdf/2605.16527v1

摘要

超圖對驅動現實世界決策的高階關系進行建模，范圍涵蓋從藥物處方到推薦系統。此類數據中一個超出成對關系表達能力的核心結構信號是交互組合性（interaction compositionality）：即一個高階關系相對于其觀測到或未觀測到的集合而言，是組合的（compositional）、涌現的（emergent）還是抑制的（inhibitory）。在多藥并用（polypharmacy）場景中，治療方案決定了一種藥物應該被停用、保留還是排除：一個組合性的藥物三元組可以被安全地簡化，一個涌現性的三元組需要所有藥物共同作用，而一個抑制性的三元組則標記出一種破壞了現有交互的藥物。然而，現有的超圖學習方法僅僅在觀測到的超邊上進行消息傳遞，使得這種組合信號未被建模，導致危險的藥物組合漏網并被誤分類。為此，我們提出了超圖模式機（Hypergraph Pattern Machine, HGPM），將范式從消息傳遞轉變為學習子集的組合模式。它對組合子集進行標記化（tokenize），將它們組織在一個包含關系的有向無環圖（inclusion DAG）中，并在掩碼重構（masked reconstruction）任務下訓練一個感知包含關系的 Transformer。在十個超圖基準測試中，HGPM 的表現匹配或超過了最先進的方法。值得注意的是，在一個真實的不良事件預測案例中，HGPM 在特征相同的候選者中正確識別出了抑制副作用的藥物添加，這是現有方法無法做出的區分。代碼和數據位于 https://github.com/KryieZhao/HGPM.git。

1 引言

超圖 [17, 10, 54, 49, 18, 32] 對高階關系進行建模，例如藥物相互作用、推薦系統、知識庫。超圖數據攜帶了一種成對圖 [27, 53] 無法表達 [20, 5, 4] 的結構屬性：即一個高階交互相對于其觀測到的或缺失的集合而言，是組合的、涌現的還是抑制的（圖 1）。我們將這種屬性稱為交互組合性。然而，現有的方法 [64, 2, 13, 43] 僅在觀測到的超邊上傳播消息，使其未被建模。我們要論證的是，組合性是超圖學習的自然學習目標。在這項工作中，我們相應地將學習對象從在觀測超邊上的監督轉變為在組合、涌現和抑制轉換模式上的監督。

多藥并用 [50, 11] 使這一點具體化。評估多藥方案的臨床醫生需要區分三種模式。如果一對藥物和完整的三元組藥物都有效，第三種藥物僅僅復合了現有的效果，處方可以被簡化。如果只有完整的三元組有效而沒有任何更小的子集有效，這三種藥物是共同需要的，且沒有一個可以被去掉。如果一對藥物有效但添加第三種藥物消除了效果，第三種藥物主動破壞了現有的交互并且應該被排除。每種模式指向不同的處方。

值得注意的是，在 HODDI [60] 和 JADER [52] 藥物相互作用數據集上，HGPM 在邊分類和鏈接預測任務中均達到了最先進水平。除了基準測試得分，我們的案例研究表明，HGPM 能夠在特征相同的候選藥物中，正確識別出抑制副作用的藥物添加。我們追蹤了一份 FOLFOX 周圍神經病變的報告，其中兩種近乎相同的抗 EGFR/VEGF 抗體——帕尼單抗（panitumumab）和貝伐珠單抗（bevacizumab）——產生了相反的模式：帕尼單抗保留了副作用（組合的），而貝伐珠單抗則抑制了它。HGPM 正確地還原了這種分化，這是現有的基于相似性的方法無法做出的區分。

2 相關工作

基于消息傳遞的超圖學習。 與圖學習 [31, 70, 26, 42, 69] 類似，超圖學習中的主流方法主要依賴于在觀測到的超邊上進行消息傳遞。以超邊為中心的方法 [64, 13, 25, 10, 54, 33, 34] 通過關聯關系在節點和超邊之間進行聚合，最近的變體通過層（sheaf）、能量（energy）、框架（framelet）或高階構造 [14, 55, 30, 62, 48] 來豐富傳播過程。基于擴展的方法 [65, 17, 32] 將超圖簡化為成對圖并應用標準的消息傳遞 [53, 27]，而單純復形網絡 [5, 16] 在 k-面上傳播但需要子集閉包，從而排除了抑制性轉換。因為所有這些方案都是在觀測結構上進行消息傳遞 [51]，所以子集存在與缺失的聯合模式并未在狀態中表示。HGPM 偏離了這一范式，通過對觀測到和未觀測到的子集進行標記化，使該模式成為顯式輸入。

結構化數據的子結構標記化。 圖學習中的一條平行路線用由帶有結構注意力偏置 [67, 44] 的 Transformer 編碼并通過掩碼重構 [23, 61] 預訓練的子結構標記序列來取代消息傳遞；最近的工作確立了子結構標記化作為圖 [57, 56, 58, 59] 和時序圖 [35] 上可擴展的替代方案。HGPM 將其擴展到超圖：標記從子圖模式轉變為中心化的子集層次結構，監督從標記重構轉變為組合、涌現和抑制模式。并發的超圖基礎模型 [18] 預訓練了一個以頂點為中心的編碼器用于跨語料庫遷移，這與 HGPM 在子集層面的關注點是正交（獨立）的。

高階藥物相互作用預測。 藥物相互作用的計算建模在歷史上是成對的：協同作用估計 [41, 66]、副作用分類 [71, 46] 和基于子結構的藥物-藥物相互作用（DDI）[39, 9]。最近的一條路線通過排列不變池化 [40]、潛在組合類型 [38] 或簡化為成對目標的超圖網絡 [47]，將其擴展到任意大小的組合，其中 HODDI [60] 和 JADER [52] 大規模提供了高階藥物效應數據。這兩條路線都將一個組合編碼為單一觀測并對其效應進行評分，而沒有將其與其子集和相鄰超集的指示符進行對比，這正是 HGPM 旨在恢復的區別。

3 問題設置

4 超圖模式機

4.1 組合式標記化

4.2 感知包含關系的自注意力

預訓練的編碼器通過輕量級 MLP 讀出層和端到端微調，遷移至節點級和邊級下游任務，完整的讀出層定義見附錄 C.3。

5 超圖基準測試上的通用性

5.1 設置

我們遵循 Chien 等人 [10] 和 Wang 等人 [54] 建立的基準套件，在八個標準超圖節點分類基準上進行評估：四個同配（homophilic）基準（Citeseer、Pubmed、CoraCA、DBLP-CA）和四個異配（heterophilic）基準（Congress、Senate、Walmart、House），涵蓋共引、合著、共同購買和政治合作領域，采用 50/25/25 的劃分（詳見附錄 D）。我們將 HGPM 與一組全面的模型進行比較：MLP、CEGAT [10]、HGNN [17]、HyperGCN [64]、HNHN [13]、UniGCNII [25]、AllSet [10]、ED-HNN [54]、SheafHyperGNN [14]、PhenomNN [55]、FrameHGNN [30]、KHGNN [62] 和 HealHGNN [48]。對于 HGPM，我們報告了從頭訓練的 HGPM（無預訓練）和先預訓練后微調的變體。HGPM 的超參數通過每個數據集的隨機搜索進行調優；詳細信息見附錄 E.1。所有結果均報告為十次隨機種子下的平均測試準確率。盡管在子集標記序列上運行，HGPM 在單個 A40 GPU 上訓練效率很高：在較小的基準測試（如 Cora-CA、Citeseer、Senate）上，預訓練在 2 小時內完成，微調在 10 分鐘內完成；在較大的基準測試（如 Walmart）上，完整的預訓練和微調流程在 5 小時內完成。

5.2 主要結果

表 1 報告了八個基準測試上的節點分類準確率。HGPM 在八個數據集中的六個上取得了最佳的測試準確率，平均排名為 1.6，遠遠領先于第二強的基線（HealHGNN，平均排名 = 2.9）。差距在異配基準測試（Senate、Walmart、House）上最大，在這些測試中消息傳遞方法在結構上表現掙扎，這表明包含 DAG 表示能夠干凈地遷移到子集結構偏離純粹同配性的超圖上。預訓練做出了有意義的貢獻：移除它會使 HGPM 的平均排名從 1.6 下降到 6.4，使其與最近的最先進編碼器持平，這證實了掩碼子集重構目標提取了超出從頭訓練所能提供的組合信號。綜上所述，這些結果表明包含 DAG 標記化器是一種通用的超圖表示。

5.3 模型空間與見解

HGPM 展示了六個設計維度（子集標記、包含 DAG 邊、標記編碼器、結構注意力偏置、預訓練重構目標和標記序列順序），在表 2 中進行了聯合總結；每個維度的數值討論詳見附錄 F。

見解 1：組合結構必須是顯式的，而非推導的。 三個獨立的架構層，即標記構建（表 2a）、邊選擇（表 2b）和注意力偏置（表 2d），匯聚于同一結論：COMP/EMER/INHIB 模式必須被注入到輸入中，而不是由編碼器去恢復。在異配數據上，中心化子集標記最決定性地擊敗了原始超邊；中心錨定的包含邊實質上優于數量相同的隨機邊，因此包含 DAG 的內容遠比其密度重要；且公式 (4) 中的組合偏置 b comp bcomp 單獨就在每個基準測試中恢復了約 75% 的全偏置差距，這是設計空間中最穩健的發現。線性化探測（表 2f）反向證實了這一圖景：拓撲信號通過注意力偏置流動，而不是通過位置嵌入 [67, 44]，因此組合性是一種偏置側屬性，而非序列側屬性。

見解 2：歸納偏置的對齊比模型容量更重要。 錯誤的歸納偏置比完全沒有標記間交互更糟糕，且這一模式在兩個獨立的層級上重復出現。在子集標記編碼器（表 2c）中，GRU 基線在每個數據集上的表現甚至不如平均池化，因為它對排列不變的子集標記集強加了順序 [68]；因此，包含感知 Transformer 相對于原始 Transformer 的優勢在于包含感知的細化，而非額外的容量。便選擇消融（表 2b）從反面展示了同樣的動態：與相鄰包含邊數量匹配的隨機邊表現遠遜于中心錨定的邊，因此容量匹配但偏置未對齊的連接使得大部分信號未被利用（遺漏在桌面上）。在四個架構軸 (a)–(d) 上，異配基準測試受到的影響大約是同配基準測試的 1.6–2 倍，證實了 HGPM 的價值恰恰在于消息傳遞方法結構性失敗的地方最大。

6 藥物相互作用上的組合性

6.1 設置

我們在兩個藥物警戒生態系統上評估 HGPM，它們的報告慣例、藥物詞匯表和標簽分布存在顯著差異，因此強大的跨語料庫性能反映了對真實不良事件監測在不同司法管轄區遇到的異質性的魯棒性。HODDI [60] 源自美國 FAERS，涵蓋 1,821 種藥物和一個具有密集單藥監督的分層 1,710 類副作用本體；JADER [52]，由日本 PMDA 維護的日本不良藥物事件報告數據庫，涵蓋 4,230 種藥物，標簽空間更為集中，保留了 100 個類別（每個數據集的統計數據見附錄 D.2）。每個數據集支持兩個任務：邊分類，預測觀察到的藥物組合的主要副作用類別；以及鏈接預測，一個區分觀察到的組合與構造的負樣本的二分類任務。兩者均使用 50/25/25 的隨機訓練/驗證/測試劃分。我們將 HGPM 與目前應用于藥物相互作用建模的方法譜系上的基線進行比較：將方案聚合為藥物袋（bag-of-drugs）的扁平編碼器（MLP、GAT [53]、GCN [27]）以及將每個方案視為原子超邊的超圖編碼器（HGNN [17]、AllSetTransformer [10]、ED-HNN [54]、KHGNN [62]）。對于邊分類，我們報告 F1 和 AUROC；對于鏈接預測，我們報告 AUROC 和 AUPRC。所有指標均在十次隨機種子上取平均。

6.2 主要結果

表 3 報告了兩個臨床意義不同的查詢：邊分類（上市后分流：哪個副作用類別主導了觀察到的方案）和鏈接預測（篩查：候選組合是否與安全相關）。HGPM 在所有八個指標列中取得了最佳成績（AR = 1.0，領先于 KHGNN 的 2.4 和 ED-HNN 的 3.3）。在飽和的 HODDI 基準上，HGPM 將邊 F1 從 90.5 提升至 92.9；在更難的 JADER 上，其藥物詞匯量增加了一倍多（4,230 對 1,821），鏈接 AUROC 從 59.6 提升至 63.2。收益與方案難度相關，而不是集中在飽和監督上，這表明歸納偏置在發揮實際作用。原因在于藥理學：k 藥方案的副作用特征并非其成員單藥特征的并集，因為其中的成對子方案帶有不同的協同、拮抗或劑量調節特征 [11, 50]，而完整方案繼承了這些特征。扁平超邊和團擴展編碼器將這種內部結構坍縮為一個單一對象；HGPM 的包含 DAG 將每個觀察到的低階子方案保留為一等信息源，反映了臨床醫生在面對新型多藥并用時所采用的組合推理。

6.3 案例研究

我們以一個多藥并用的案例研究作為結束。一份 JADER [52] 周圍神經病變報告記錄了一名接受 FOLFOX [12]（奧沙利鉑、氟尿嘧啶、亞葉酸鈣）治療的患者，其神經毒性主要由奧沙利鉑 [8] 主導。添加第四種藥物需要區分是保留副作用的添加還是抑制副作用的添加（圖 4a）。三個候選藥物在 JADER 中與該核心共同出現：帕尼單抗（panitumumab）、貝伐珠單抗（bevacizumab）和卡培他濱（capecitabine）。帕尼單抗和貝伐珠單抗在特征相似度編碼器看來幾乎完全相同：兩者都是同一藥物特征簇中的單克隆抗體（圖 4b）。然而數據記錄了相反的結果：FOLFOX + 帕尼單抗表現出周圍神經病變（標簽 1，COMP），而 FOLFOX + 貝伐珠單抗和 FOLFOX + 卡培他濱則抑制了它（標簽 0，INHIB）。特征相似度預測器無法解決這一問題；這種對比只能從 3 藥物子集及其 4 藥物超集的聯合觀察模式中讀取。

為了支持臨床決策，我們在 HGPM 預訓練編碼器的頂部訓練了兩個頭：一個在 {COMP, EMER, INHIB} 上的關系頭，用于對候選方案交互進行分類；以及一個在 JADER 副作用詞匯表上的不良事件頭，用于對產生的毒性進行排序。關系頭正確地分離了這三個分支（圖 4c）：帕尼單抗的 COMP = 0.78，貝伐珠單抗的 INHIB = 0.69，卡培他濱的 INHIB = 0.77。貝伐珠單抗在特征上與帕尼單抗相似，但被標記為抑制劑，這是從指示符對結構而非藥物嵌入中讀取的，而特征相似度基線則將兩種抑制劑都坍縮到組合類別上（圖 5）。超越二分類，不良事件頭（圖 4d）在沒有任何臨床標簽的情況下恢復了每個候選藥物的藥物類別特征：帕尼單抗的周圍神經病變，抗 VEGF 貝伐珠單抗的高血壓，以及氟嘧啶類卡培他濱的手足綜合征。基線將所有三個坍縮到一個共享的神經病變先驗上（圖 6）。

7 結論

我們提出了 HGPM，這是一個超圖學習框架，它將監督從超邊的存在轉移到交互組合性：即區分高階關系與成對關系的子集存在與缺失的聯合模式。HGPM 將子集標記化為包含 DAG 的節點，并賦予帶有組合標簽的邊，并在掩碼重構目標下訓練一個感知包含關系的 Transformer。在八個超圖基準測試和兩個藥物相互作用語料庫上，HGPM 的表現匹配或超過了最先進的方法。目前仍存在兩個局限性：(1) 包含 DAG 隨階數呈組合級增長，導致計算難以處理；可以通過對子 DAG 進行采樣來緩解該問題。(2) HGPM 是針對每個目標的：每次預測都會構建并處理其自身的 DAG，因此在大型圖上進行全圖推理需要逐節點采樣。然而，由于學習到的組件是一個標準的 Transformer，現有的 Transformer 推理框架可以直接應用，從而保持實際成本可控。完整的討論見附錄 A。

原文鏈接：https://arxiv.org/pdf/2605.16527v1