可解釋且有效的圖神經加性網絡

可解釋且有效的圖神經加性網絡

The Intelligible and Effective Graph Neural Additive

Networks

https://arxiv.org/pdf/2406.01317v2

摘要

圖神經網絡（GNNs）已成為在圖結構數據上進行學習的主流方法。然而，大多數GNN作為黑盒模型運行，需要事后解釋，這在透明度至關重要的高風險場景中可能并不足夠。在本文中，我們提出了一種設計上即可解釋的GNN。我們的模型——圖神經加性網絡（GNAN），是可解釋的廣義加性模型類別的一種新穎擴展，能夠被人直接可視化并完全理解。GNAN被設計為完全可解釋，通過模型的直接可視化，在特征和圖層面上提供全局和局部解釋。這些可視化精確描述了模型如何利用目標變量、特征與圖之間的關系。我們在不同任務和數據集的一系列示例中展示了GNAN的可理解性。此外，我們表明GNAN的準確度與黑盒GNN相當，使其適用于那些透明度至關重要且需要高準確度的關鍵應用。

1 引言

在從生物學到欺詐檢測的許多領域中，人工智能（AI）被應用于具有圖結構的數據。神經網絡，特別是圖神經網絡（GNNs），已成為這些應用中的主流方法（例如，參見Zhou等人[1]）。盡管GNN在預測正確性方面表現出高準確度，但它們通常作為黑盒模型運行；因此，其決策過程是不透明的。透明度對于評估潛在偏見或安全風險至關重要，在刑事司法、醫療保健和金融等對個人生活產生重大影響的領域尤為關鍵。在這些情境中，可解釋模型盡管有時準確度較低，但可能優于復雜的黑盒模型[2]。此外，自動化決策過程的透明度正日益成為法律強制要求。盡管關于歐盟《通用數據保護條例》（GDPR）是否隱含“解釋權”[3, 4]仍存在爭議，但擬議的《歐洲人工智能法案》明確解決了這一問題，指出“為了解決某些AI系統的不透明性和復雜性所帶來的擔憂，并幫助部署者履行本法規下的義務，高風險AI系統在投放市場或投入使用前應滿足透明度要求”[5]。

在此背景下，可解釋性（interpretability）指的是人類理解模型決策背后的推理或模型運作的一般邏輯的容易程度。區分可解釋性（interpretability）與可說明性（explainability）[2]很重要?？山忉屝陨婕霸O計上固有可理解的模型，而可說明性涉及闡明黑盒模型某些方面的事后方法[6]。這些解釋通常沒有正確性保證[7, 8]，并且可能無法提供模型及其預測的完整描述，從而可能無法暴露隱藏的缺陷[9, 10, 11]。

模型可說明性或可解釋性的方法可分為局部和全局兩類。局部方法（如SHAP[12]和LIME[13]）闡明模型做出的單個預測，而全局方法（如特征重要性[14]和部分依賴圖[15]）提供關于模型的整體洞察，即解釋模型決策的總體邏輯[16]。然而，已有研究指出，局部可解釋性方法可能與其全局對應方法不一致[17]。此外，局部解釋在驗證公平性及其他風險方面可能并不充分[8]。

在本工作中，我們引入了圖神經加性網絡（GNAN），這是一種設計上即可解釋的GNN，兼具透明度和準確度。GNAN是一個玻璃盒模型[18]，允許局部和全局可解釋性。GNAN將廣義加性模型（GAMs）[19]家族擴展以適配圖數據。GAMs以其能夠擬合復雜非線性函數同時保持可解釋性而聞名，并已在多個領域證明有效[20, 21, 22, 23, 24]。它們通過為每個特征學習形狀函數，然后線性組合這些函數來運作，這使得它們易于解釋，因為每個特征對預測的影響獨立于其他特征，并且可以通過其對應的形狀函數進行可視化。類似地，GNAN的可解釋性是通過一種架構實現的，該架構限制了特征與圖拓撲的交叉乘積的使用，從而降低了其與其他GNN相比的復雜性。盡管如此，我們證明GNAN盡管容量有限，但在多個真實世界數據集上的表現與更具表達能力的GNN相當。此外，GNAN不依賴于迭代式局部消息傳遞，避免了與此類GNN通常相關的計算瓶頸[25]。

在第4節中，我們通過一系列示例展示用戶如何解釋GNAN，并獲得對目標與圖之間、目標與特征之間以及特征與圖信息之間交互作用的精確洞察。在某些情況下，僅通過少數幾張圖即可可視化模型的精確描述。我們還展示了GNAN的可解釋性如何允許用戶調試其模型，該過程可用于確保與先驗知識的一致性，并避免偏見和安全風險。在第5節中，我們將GNAN的性能與其他GNN架構進行了比較。這一比較強調，為了可理解性而犧牲性能并非必要，因為GNAN的性能與常用的黑盒GNN相當。

這項工作的主要貢獻是：

1. 將廣義加性模型（GAMs）擴展到圖數據。
2. 引入了一種專為圖預測任務設計的完全可解釋模型，通過模型本身的可視化，證明其解釋能夠同時提供全局和局部洞察，并包含調試功能。
3. 證明GNAN在常見的真實世界圖數據集上取得了良好的性能，盡管其容量有限。這一觀察結果支持了先前的發現，即某些真實世界的圖問題很簡單，不需要其他GNN的容量。

因此，我們認為GNAN由于其可解釋性和性能，適用于高風險應用。

2 相關工作

GAMs 比廣義線性模型具有更強的表達能力，同時保持可解釋性，因為每個預測變量的影響是單獨建模的。例如，它們可以捕捉特征的非單調效應，這是廣義線性模型在沒有特征工程的情況下無法做到的。傳統上，GAMs 利用樣條函數（splines）或其他平滑的形狀函數來建模每個特征與目標變量之間的非線性關系。然而，也有其他方法，如決策樹，被提出用于擬合形狀函數 [24]。最近，Agarwal 等人 [26] 建議使用神經網絡來學習形狀函數。這種方法結合了深度學習的表示能力與加性模型的可解釋性。

圖神經網絡 圖神經網絡（GNNs）[27, 28, 29, 30] 已成為圖數據學習的主流方法。GNNs 背后的基本思想是使用結合節點特征與圖結構的神經網絡。常用的一類 GNN 是消息傳遞 GNN（message-passing GNNs），其中節點的表示通過鄰域聚合在迭代中進行更新。這種聚合例如通過類卷積操作或注意力機制完成 [31, 32, 33]。

已經探索了各種非消息傳遞的方法，以將節點特征與圖結構解耦。此類方法已被證明能增強跨不同應用的性能 [34, 35, 36]。解耦還可以減少過擬合，因為流行的 GNN 確實會將特征和圖結構糾纏在一起，已被顯示出傾向于過擬合非信息性的圖信息 [37]。GNAN 利用這些概念來實現一個既高性能又完全可解釋的模型。

圖上有不同的預測任務 [38]。在圖任務（graph tasks）中，目標是預測整個圖的屬性。例如，一個圖可能代表一個分子，目標將是預測其毒性水平。在節點任務（node tasks）中，目標是預測圖內一個節點（頂點）的屬性。節點任務的一個例子是預測社交網絡中的用戶是人類還是機器人。在鏈接預測任務（link prediction tasks）中，目標是確定圖的兩個節點之間是否存在邊。在這項工作中，我們要關注圖任務和節點任務。雖然鏈接預測任務不在本工作的范圍內，但可以將這些問題視為對偶線圖（dual line graph）上的節點任務 [39]。

GNN 解釋 圖結構數據固有的復雜性為可解釋性帶來了獨特的挑戰。大多數解釋黑盒 GNN 的方法側重于提供一個子圖或類似的結構，以解釋某個特定的例子。這要么是作為 GNN 的事后解釋（post-hoc explanation）[40, 41, 42]，要么是通過預先調整數據（adjusting the data a priori）[43, 44, 45] 來完成。例如，Ying 等人 [41] 提出的方法通過最大化預測與可能的子圖結構及節點特征分布之間的互信息，來識別影響 GNN 預測的重要子圖結構和節點特征。Yin 等人 [43] 提出了一種通過預訓練進行學習的結構模式學習模塊。與這些方法相反，GNAN 并不旨在通過像子圖這樣的代理對象來提供解釋，也不需要修改數據或訓練過程。相反，GNAN 是設計上即可解釋的，其精確描述可以通過其學習到的形狀函數進行可視化。特別是，目標、特征和圖之間的確切關系可以被可視化并傳達給用戶。

3 圖神經加性網絡

這一數學公式揭示了每個節點和特征如何對整體圖表示做出貢獻。第一個方程中的元素傳達了節點的作用，而第二個方程中的元素傳達了所有節點中各個特征的影響。因此，該模型有助于從多個角度詳細理解局部行為。

出于預測目的，求和算子獨立地應用于對應于每個類別的維度上，并且采用 softmax 作為激活函數。

4 可理解性

在本節中，我們通過可視化來展示 GNAN 的可理解性。每個 GNAN 模型的特征在于單變量學習到的形狀函數
，因此可以被描繪為一組說明性圖表。在下文中，我們展示此類圖表的示例并解釋它們在生成洞察方面的效用。我們在本節的重點是全局可解釋性，因為局部可解釋性可以利用類似的方法。我們展示了 GNAN 在兩個數據集上的應用，額外的示例詳見附錄。

必須強調的是，圖 1 全面地展示了整個模型。這意味著，結合本例中為 -5.6672 的偏置項值，理解和利用該模型進行預測所需的每一個關鍵細節都包含在這張單一的圖中。這與特征重要性（feature importance）等方法形成鮮明對比，后者僅提供對模型的有限視角。雖然該圖提供了關于模型的完整信息，但呈現額外的視圖有時也會有所幫助。

該熱力圖說明了特定距離處的原子如何影響最終結果。例如，它表明模型已經學到，Ca 原子的存在（單元格 (Ca, 0)）或其鄰近度（單元格 (Ca, 1)）有助于致突變性。這些可視化也可用于調試目的。這可能至關重要，例如，用于確保模型沒有偏見，或識別與現有科學知識的任何差異。如果已知 Ca 原子實際上對致突變性有負面影響，用戶就可以識別并糾正模型學習中的這種不一致。此外，這種詳細的理解允許用戶選擇不僅在給定樣本上實現高準確度，而且與先驗知識相一致的模型，從而優化性能和可靠性。

正如 Zhang 等人 [6] 所指出的，解釋多類預測任務構成了重大挑戰。在此背景下，我們利用 PubMed 數據集 [48] 展示 GNAN 的可解釋性。該數據集包含歸檔在 PubMed 上的 19,717 篇與糖尿病相關的科學出版物，并被分為三個不同的類別（1 型糖尿病、2 型糖尿病和妊娠糖尿病）。該數據集的引用網絡包含 44,338 個鏈接。每篇出版物作為一個節點表示，其特征是由包含 500 個獨特單詞的字典導出的 TF/IDF 加權詞向量。

由于存在三個類別，我們訓練 GNAN 模型，使其距離函數和特征函數的輸出維度為三。在這種設置下，比較對應于這三個類別的三個函數很有趣，因此我們將它們繪制在同一張圖中 [6]。圖 3 顯示，該模型僅利用每個節點的局部鄰域，并且隨著節點距離變遠，它們之間的信息利用率降低。我們還觀察到類別之間的差異；對于 2 型糖尿病，距離越長，其信息利用率越低（收斂于 0），而對于 1 型糖尿病和妊娠糖尿病，遠距離節點具有負面影響。

在圖 4 中，我們展示了九個選定特征的形狀函數，證明了 GNAN 學習復雜非單調函數的能力，如在 'diet'（飲食）和 'hepat'（肝臟）特征中所見。同時觀察這三個類別的形狀函數，有助于理解模型如何利用不同的特征值來區分各個類別。例如，'insulin'（胰島素）特征的形狀函數揭示，文檔中該詞的缺失（即特征值接近零）并不能顯著指示文檔的類別。然而，隨著文檔中 'insulin' 頻率的增加，其對預測的影響變得更加顯著，盡管這種影響在 1 型和 2 型糖尿病與妊娠糖尿病之間存在明顯差異。

為了可視化特定距離下特征值的貢獻，我們為每個類別采用熱力圖，評估特征函數在輸入范圍（[0, 1]）上的輸出與對應距離函數輸出的乘積。圖 5 以 'children'（兒童）特征為例展示了這種可視化技術。觀察發現，'children' 一詞的存在對不同糖尿病類型的預測影響不同，這很有啟發性。模型已經學到，關于 1 型糖尿病的論文很少提及 'children'，相關論文也是如此。相比之下，該術語經常出現在妊娠糖尿病的語境中。GNAN 可視化的更多示例見附錄。

5 實證評估

在本節中，我們在真實世界的圖任務和節點標注任務上評估 GNAN，包括大規模、長程和異質性數據集。2 我們將 GNAN 與多種常用的黑盒 GNN 進行比較，包括 GraphConv [49]、GraphSAGE [30]、圖同構網絡（GIN）[33]、圖注意力網絡的表達性版本（GATv2）[29, 50]、圖變換器（GTransformer）[51]。我們還評估了 FSGNN 模型，該模型將節點特征與圖結構解耦 [35]。每個基線模型所調整的超參數信息詳見附錄。我們使用了以下常用基準：

節點標注任務 Cora、Citeseer、PubMed、ogb-arxiv [52, 53] 是論文引用網絡，其目標是將論文分類到若干主題之一。ogb-arxiv 數據集是一個大規模網絡。

Cornell [54] 和 Tolokers [55] 是異質性數據集。Cornell 是一個網頁鏈接網絡，任務是將節點分類到五個類別之一。Tolokers 數據集基于 Toloka 眾包平臺的數據。節點代表參與過至少 13 個選定項目之一的 Tolokers（工作者）。如果兩個 Tolokers 曾在同一任務上工作，則它們之間存在一條邊連接。目標是預測哪些 Tolokers 曾在某個項目中被禁止。節點特征基于工作者的個人資料信息和任務績效統計。

圖標注任務 NCI1、Proteins、Mutagen 和 PTC [56] 是化合物數據集。在每個數據集中，目標是根據某些感興趣的屬性對化合物進行分類。

Thr μ, α, αHOM O [57] 數據集是長程分子屬性預測回歸任務，基于大規模的 QM9 分子數據集。

協議 對于所有任務，我們使用了文獻中針對每個數據集常用的現有數據劃分、協議和評估指標。每個數據集的完整協議詳見附錄。我們報告的指標如下：對于 Cornell、Cora、Citeseer、PubMed、ogb-arxiv、Mutagenicity、PTC、NCI 和 Proteins，我們報告準確率。對于 μ, α, αHOM O，我們報告平均絕對誤差（MAE）。對于 Tolokers，我們報告 ROC-AUC。對于節點標注任務，我們使用了數據中預定義的劃分，并遵循每個數據集的通用協議。結果是使用 5 或 10 個隨機種子在測試集上的平均值。對于 Proteins 和 NCI1 任務，我們遵循了 [58] 中的數據劃分和嵌套交叉驗證協議。這些數據集上報告的最終結果是 30 次運行（10 折交叉驗證和 3 個隨機種子）的平均值。對于 NCI1 和 PTC，我們遵循了 [39] 中的數據劃分和協議，并報告 10 折嵌套交叉驗證的平均準確率和標準差。

結果 結果如表 1 所示。在我們評估的 13 個任務中，GNAN 在 9 個任務中表現最佳或次佳。在 GNAN 中，每個節點從所有其他節點收集信息，確保完整的信息流動，同時 ρ 函數根據距離調節影響。因此，GNAN 避免了某些消息傳遞 GNN 所遇到的計算瓶頸 [25]。特別是在長程任務 μ、α 和 αHOM O 上，GNAN 的表現優于所有其他評估的基線模型，這與 Alon 和 Yahav [25] 強調捕獲長程信息益處的發現一致。雖然可理解性有時會以準確度為代價，但我們的研究結果表明，增強可理解性并不一定導致準確度的顯著損失。盡管容量有限，GNAN 卻能匹配更具表達能力的 GNN 的準確度，這看似令人驚訝。然而，先前的研究表明，即使是容量有限的 GNN，如線性 GNN，也能在各種真實世界數據集上實現高準確度 [59, 58, 60]，這表明某些真實世界的圖問題比預期的更簡單。我們的結果證實了這些觀察。

6 結論

在這項工作中，我們引入了圖神經加性網絡（GNAN），這是可解釋的廣義加性模型類別的一種新穎擴展，旨在適配圖數據。GNAN 本質上可解釋，并能直接從其架構中提供全局和局部解釋，消除了對事后解釋的需求，從而增強了透明度。此外，GNAN 展現出與流行 GNN 相媲美的性能，表明可理解性并不一定意味著準確度的顯著下降。

可以通過多種方式增強 GNAN。為了生成平滑的形狀函數，可以整合最近提出的柯爾莫哥洛夫-阿諾德網絡（Kolmogorov–Arnold Networks）[46] 的技術。通過為每個特征學習獨立的距離函數，增加 GNAN 的容量是可行的。探索降低容量也引人關注，特別是在特征眾多的場景中，采用正則化來限制所使用的形狀函數數量可能會帶來益處。此外，將這些技術應用于生物網絡數據集（如蛋白質相互作用），可能成為支持科學發現的寶貴工具。這些及其他方向將留待未來的研究。

原文鏈接：https://arxiv.org/pdf/2406.01317v2