超圖模式機：面向高階交互的組合式分詞

Hypergraph Pattern Machine: Compositional

Tokenization for Higher-Order Interactions

超圖模式機：面向高階交互的組合式分詞

https://arxiv.org/pdf/2605.16527

摘要

超圖能夠建模驅動現實決策的高階關系——從用藥處方到推薦系統。在這類數據中，超越成對關系所能表達的核心結構信號是交互的組合性（interaction compositionality）：一個高階關系相對于其已觀測或未觀測的子集，究竟是組合的（compositional）、涌現的（emergent），還是抑制的（inhibitory）。

以多藥聯用為例，這一性質直接決定處方策略：組合型藥物三元組可以安全簡化；涌現型三元組要求三藥缺一不可；抑制型三元組則意味著某味藥正在破壞已有的藥物交互，應予剔除。然而，現有超圖學習方法僅在已觀測的超邊上進行消息傳遞，未能對這一組合性信號建模，導致危險的藥物組合被漏判和誤分類。

為此，我們提出超圖模式機（HGPM），將范式從消息傳遞轉向對子集組合模式的學習：將組合性子集進行分詞（tokenize），在包含關系有向無環圖（inclusion DAG）中組織它們，并在掩碼重建任務下訓練一個感知包含關系的 Transformer。在十個超圖基準上，HGPM 達到或超越了現有最優方法。尤其在一個真實的不良反應預測案例中，HGPM 能從特征完全相同的候選藥物中，正確識別出能抑制副作用的那一味添加藥物——這是現有方法無法做到的區分。

代碼與數據見：https://github.com/KryieZhao/HGPM.git

1 引言

超圖建模的是高階關系，如藥物交互、推薦系統、知識庫等。超圖數據攜帶一種成對圖無法表達的結構屬性：一個高階交互相對于其已存在或缺失的子集，究竟是組合的、涌現的還是抑制的（見圖1）。我們稱之為交互組合性。然而現有方法僅在已觀測的超邊上傳播消息，對這一屬性完全未建模。我們認為，組合性才是超圖學習天然的學習目標。因此，本文將學習對象從"監督已觀測超邊"轉變為"監督組合、涌現與抑制的轉換模式"。

多重用藥 [50, 11] 使這一點變得具體。評估多藥治療方案的臨床醫生需要區分三種模式。如果一對藥物和完整的三藥組合都有效，第三種藥物僅僅是疊加了已有的效果，處方可以簡化。如果只有完整的三藥組合有效，而任何較小的子集均無效，那么這三種藥物是共同必需的，缺一不可。如果一對藥物有效，但加入第三種藥物卻消除了該效果，說明第三種藥物主動破壞了現有的相互作用，應當被排除。每種模式都指向不同的處方。

然而，現有的超圖方法由于結構上的原因，無法區分這三種模式。以超邊為中心的方法（如 AllSet [10] 和 ED-HNN [54]）在節點和觀測到的超邊之間進行傳播；基于擴展的方法（如 HGNN [17] 和 LEGCN [65]）將超圖簡化為團擴展的成對圖并在其邊上進行傳播；單純復形網絡 [15, 5] 在相鄰的觀測到的 k k-面之間傳遞消息。它們都依賴于消息傳遞 [51]，其中信息僅在已存在的超邊內的實體之間流動。然而，涌現和抑制機制是由哪些子集不存在來定義的，這是僅憑觀測到的結構無法承載的信號。對于一個只看到觀測內容的模型來說，組合性、涌現性和抑制性相互作用會坍縮為一個關于該組合是否存在的單一二元預測。

為了防止這種坍縮，我們轉變了范式：使組合性本身成為學習目標。捕捉這一點需要同時解決三個挑戰。(1) 由于“缺失”本身也是組合信號的一部分，觀測到的子集和缺失的子集都必須成為模型可以讀取的一等實體。我們將子集標記化（tokenize），每個 token 攜帶其內容、順序以及一個區分觀測與未觀測的顯式存在標簽。(2) 每個子集參與許多超集，且每個相鄰的子集-超集轉換都帶有其自身的組合性、涌現性或抑制性標簽，因此表示必須將所有這些多父關系一起編碼。我們將 token 組織成一個包含 DAG（有向無環圖），其子集-超集邊攜帶組合性、涌現性或抑制性標簽作為一等結構。(3) 子集隨著高階交互的大小呈組合級增長（一個 10 種藥物的方案有 1022 個真非空子集，一個 8 種藥物的方案有 254 個），這使得完整的 DAG 在真實數據集上難以處理。我們在每個階的有界預算內對 token 進行采樣，在保持 DAG 圍繞每個目標局部的同時，保留那些攜帶組合性的子集-超集邊。綜合起來，這三種選擇產生了一種表示，其中每個相鄰轉換都揭示了消息傳遞所無法看見的“存在”與“缺失”的聯合模式。

我們提出了超圖模式機（Hypergraph Pattern Machine, HGPM），這是一種從以目標為中心的包含 DAG 中學習交互組合性的 Transformer。對于每個目標實體，HGPM 對包含它的子集進行標記化；每個 token 攜帶一個存在標簽，且每個子集-超集邊攜帶三種組合標簽之一：組合性、涌現性或抑制性。編碼器利用結構偏差 [67, 29, 44] 增強自注意力機制，直接注入包含拓撲結構和組合標簽，以便模型讀取每個轉換的機制，而不是從 token 特征中重新學習它。我們通過掩碼子集 token [23, 61, 24] 并預測每個是否被觀測到來預訓練 HGPM；由于每個組合標簽是子集存在的確定性函數，這種預測恢復了 DAG 上每個相鄰邊的組合性。在標準的超圖節點分類基準測試中，HGPM 達到或超過了最先進的方法。

值得注意的是，在 HODDI [60] 和 JADER [52] 藥物相互作用數據集上，HGPM 在邊分類和鏈接預測任務上均達到了最先進水平。除了基準分數之外，我們的案例研究揭示，HGPM 能夠正確識別出在特征相同的候選藥物中，哪一種藥物的添加會抑制副作用。我們追蹤了一份 FOLFOX 周圍神經病變報告，其中兩種近乎相同的抗 EGFR/VEGF 抗體——帕尼單抗（panitumumab）和貝伐珠單抗（bevacizumab）——產生了相反的模式：帕尼單抗保留了副作用（組合性），而貝伐珠單抗抑制了它。HGPM 正確地還原了這種區分，而這是現有的基于相似性的方法無法做到的。

2 相關工作

基于消息傳遞的超圖學習。 與圖學習 [31, 70, 26, 42, 69] 類似，超圖學習中的主流方法主要依賴于在觀測到的超邊上進行消息傳遞。以超邊為中心的方法 [64, 13, 25, 10, 54, 33, 34] 通過關聯性（incidence）在節點和超邊之間進行聚合，最近的變體通過層（sheaf）、能量（energy）、框架小波（framelet）或高階結構豐富了傳播過程 [14, 55, 30, 62, 48]。基于擴展的方法 [65, 17, 32] 將超圖簡化為成對圖并應用標準的消息傳遞 [53, 27]，而單純復形網絡 [5, 16] 在 k k-面（ k k-faces）之間進行傳播，但要求子集閉包，從而阻斷了抑制性轉換。因為所有這些方案都是在觀測結構上進行消息傳遞 [51]，所以子集存在與缺失的聯合模式并未在狀態中得到表示。HGPM 通過將觀測到的和未觀測到的子集都進行標記化（tokenizing），使該模式成為顯式輸入，從而背離了這一范式。

面向結構化數據的子結構標記化。 圖學習中有一條平行的路線，用由具有結構注意力偏差 [67, 44] 的 Transformer 編碼的子結構 token 序列取代了消息傳遞，并通過掩碼重構 [23, 61] 進行預訓練；最近的研究確立了子結構標記化作為圖 [57, 56, 58, 59] 及時序圖 [35] 上的一種可擴展替代方案。HGPM 將其擴展至超圖：token 從子圖模式轉變為以目標為中心的子集層級，監督信號也從 token 重構轉變為組合性、涌現性和抑制性機制。并發的超圖基礎模型 [18] 預訓練了一個以頂點為中心的編碼器用于跨語料庫遷移，這與 HGPM 的子集級關注點是正交的。

高階藥物相互作用預測。 藥物相互作用的計算建模歷史上一直是成對的：協同作用估計 [41, 66]、副作用分類 [71, 46] 和基于子結構的藥物-藥物相互作用（DDI）[39, 9]。最近的一條路線通過置換不變池化 [40]、潛在組合類型 [38] 或簡化為成對目標的超圖網絡 [47]，將建模擴展到了任意大小的組合，其中 HODDI [60] 和 JADER [52] 大規模提供了高階藥物效應數據。這兩條路線都將一個組合作為單一觀測進行編碼并對其效應進行評分，而沒有將其與其子集和相鄰超集的指標進行對比，而這正是 HGPM 旨在恢復的區別。

3 問題設置

4 超圖模式機

4.1 組合標記化

4.2 感知包含的自注意力

4.3 感知組合性的預訓練

預訓練的編碼器通過輕量級的 MLP 讀出層和端到端微調，遷移至節點級和邊級下游任務，完整的讀出層定義見附錄 C.3。

5 超圖基準測試上的通用性

5.1 實驗設置

我們遵循 Chien 等人 [10] 和 Wang 等人 [54] 建立的基準套件，在八個標準的超圖節點分類基準上進行評估：四個同配（homophilic）基準（Citeseer、Pubmed、Cora-CA、DBLP-CA）和四個異配（heterophilic）基準（Congress、Senate、Walmart、House），涵蓋共引、合著、共同購買和政治合作領域，并采用 50/25/25 的數據劃分（詳見附錄 D）。我們將 HGPM 與一系列全面的模型進行比較：MLP、CEGAT [10]、HGNN [17]、HyperGCN [64]、HNHN [13]、UniGCNII [25]、AllSet [10]、ED-HNN [54]、SheafHyperGNN [14]、PhenomNN [55]、FrameHGNN [30]、KHGNN [62] 和 HealHGNN [48]。對于 HGPM，我們同時報告了從頭訓練的 HGPM（無預訓練）和先預訓練后微調的變體結果。HGPM 的超參數通過針對每個數據集的隨機搜索進行調優；具體細節見附錄 E.1。所有結果均報告為十個隨機種子下的平均測試準確率。盡管 HGPM 是在子集 token 序列上運行，但它在單張 A40 GPU 上訓練非常高效：在較小的基準（如 Cora-CA、Citeseer、Senate）上，預訓練在 2 小時內完成，微調在 10 分鐘內完成；在較大的基準（如 Walmart）上，完整的預訓練和微調流程在 5 小時內完成。

5.2 主要結果

表 1 報告了在八個基準上的節點分類準確率。HGPM 在八個數據集中的六個上取得了最佳的測試準確率，平均排名（AR）為 1.6，大幅領先于第二強的基線（HealHGNN，AR = 2.9）。這一差距在異配基準（Senate、Walmart、House）上最為顯著，在這些基準上消息傳遞方法在結構上表現掙扎，這表明包含 DAG 表示能夠良好地遷移到那些子集結構偏離典型同配性的超圖上。預訓練貢獻顯著：移除預訓練會使 HGPM 的平均排名從 1.6 降至 6.4，使其與近期最先進的編碼器持平，這證實了掩碼子集重構目標能夠提取出超越從頭訓練所能提供的組合性信號。綜上所述，這些結果表明包含 DAG 標記化方法是一種通用的超圖表示方法。

5.3 模型空間與洞察

HGPM 揭示了六個設計維度（子集 token、包含 DAG 邊、token 編碼器、結構注意力偏差、預訓練重構目標以及 token 序列順序），綜合總結于表 2；各維度的數值討論留待附錄 F。

6 藥物相互作用上的組合性

6.1 實驗設置

我們在兩個藥物警戒生態系統上評估 HGPM，這兩個系統的報告慣例、藥物詞匯表和標簽分布存在顯著差異，因此強大的跨語料庫性能反映了對真實不良事件監測在不同司法管轄區所遇到的異質性的魯棒性。HODDI [60] 源自美國 FAERS，涵蓋 1,821 種藥物和一個具有密集單藥監督的層級化 1,710 類副作用本體；JADER [52] 是日本 PMDA 維護的日本不良藥物事件報告數據庫，涵蓋 4,230 種藥物，其標簽空間更為集中，保留了 100 個類別（各數據集統計數據見附錄 D.2）。每個數據集支持兩個任務：邊分類，預測觀測到的藥物組合的主要副作用類別；以及鏈接預測，這是一個區分觀測到的組合與構建的負樣本的二分類任務。兩者均使用 50/25/25 的隨機訓練/驗證/測試劃分。我們將 HGPM 與目前應用于藥物相互作用建模的方法論譜系中的基線進行比較：將治療方案聚合為藥物袋（bag-of-drugs）的扁平編碼器（MLP、GAT [53]、GCN [27]），以及將每個治療方案視為原子超邊的超圖編碼器（HGNN [17]、AllSetTransformer [10]、ED-HNN [54]、KHGNN [62]）。對于邊分類，我們報告 F1 和 AUROC；對于鏈接預測，我們報告 AUROC 和 AUPRC。所有指標均在十個隨機種子上取平均。

6.2 主要結果

表 3 報告了兩個臨床意義上不同的查詢：邊分類（上市后分診：哪種不良效應類別在觀測到的治療方案中占主導地位）和鏈接預測（篩查：候選組合是否與安全相關）。HGPM 在所有八個指標列上均取得了最佳成績（AR = 1.0，領先于 AR 為 2.4 的 KHGNN 和 AR 為 3.3 的 ED-HNN）。在飽和的 HODDI 基準上，HGPM 將邊 F1 從 90.5 提升至 92.9；在更難的 JADER 上，其藥物詞匯量增加了一倍多（4,230 對 1,821），鏈接 AUROC 從 59.6 上升至 63.2。性能提升與用藥方案的難度相關，而不是集中在飽和的監督上，這表明歸納偏差在發揮實際作用。原因在于藥理學： k k 種藥物治療方案的不良事件特征并不是其成員單藥特征的并集，因為其中的成對子治療方案攜帶著獨特的協同、拮抗或劑量調節特征 [11, 50]，而完整治療方案繼承了這些特征。扁平超邊和團擴展編碼器將這種內部結構坍縮為一個對象；HGPM 的包含 DAG 將每個觀測到的低階子治療方案保留為一等信息源，鏡像了臨床醫生在面對新型多重用藥時所采用的組合推理。

6.3 案例研究

我們以一個多重用藥案例研究作為結尾。一份 JADER [52] 周圍神經病變報告記錄了一位接受 FOLFOX [12]（奧沙利鉑、氟尿嘧啶、亞葉酸鈣）治療的患者，其神經毒性主要由奧沙利鉑引起 [8]。添加第四種藥物需要區分是保留副作用的添加還是抑制副作用的添加（圖 4a）。在 JADER 中，有三種候選藥物與該核心藥物共同出現：帕尼單抗（panitumumab）、貝伐珠單抗（bevacizumab）和卡培他濱（capecitabine）。對于特征相似度編碼器來說，帕尼單抗和貝伐珠單抗看起來幾乎完全相同：兩者都是同一藥物特征簇中的單克隆抗體（圖 4b）。然而數據記錄了相反的結果：FOLFOX + 帕尼單抗表現出周圍神經病變（標簽 1，COMP），而 FOLFOX + 貝伐珠單抗和 FOLFOX + 卡培他濱則抑制了它（標簽 0，INHIB）。特征相似度預測器無法解決這一問題；這種對比只能從 3 藥子集及其 4 藥超集的聯合觀測模式中讀取。

為了提供臨床決策支持，我們在 HGPM 預訓練編碼器的頂部訓練了兩個頭：一個作用于
的關系頭，用于對候選治療方案相互作用進行分類；以及一個作用于 JADER 副作用詞匯表的不良事件頭，用于對產生的毒性進行排序。關系頭正確地分離了這三個分支（圖 4c）：帕尼單抗的 COMP= 0.78，貝伐珠單抗的 INHIB= 0.69，卡培他濱的 INHIB= 0.77。貝伐珠單抗在特征上與帕尼單抗相似，但被標記為抑制劑，這是從指示符對結構中讀取的，而非藥物嵌入，而特征相似度基線則將兩種抑制劑都坍縮到了組合性類別（圖 5）。超越二分類，不良事件頭（圖 4d）在沒有任何臨床標簽的情況下恢復了每個候選藥物的藥物類別特征：帕尼單抗的周圍神經病變，抗 VEGF 貝伐珠單抗的高血壓，以及氟嘧啶類卡培他濱的手足綜合征。基線模型將所有三者都坍縮到了共享的神經病變先驗上（圖 6）。

7 結論

我們提出了 HGPM，這是一個超圖學習框架，它將監督信號從超邊的存在轉移到交互組合性：即區分子集存在與缺失的聯合模式，該模式將高階關系與成對關系區分開來。HGPM 將子集標記化為帶有組合標簽邊的包含 DAG 節點，并在掩碼重構目標下訓練一個包含感知 Transformer。在八個超圖基準和兩個藥物相互作用語料庫上，HGPM 達到或超越了最先進的方法。仍存在兩個局限性：(1) 包含 DAG 隨階數呈組合級增長，導致計算上難以處理；可通過對子 DAG 進行采樣來緩解此問題。(2) HGPM 是逐目標的：每次預測都構建并處理其自身的 DAG，因此在大圖上進行全圖推理需要進行逐節點采樣。然而，由于所學習的組件是標準的 Transformer，現有的 Transformer 推理框架可直接適用，從而保證了實際成本的可控性。完整討論見附錄 A。

原文鏈接：https://arxiv.org/pdf/2605.16527