Bayesian Predictive Synthesis for Dynamic Networks:Forecasting and Identifying Structural Mechanisms
動態網絡貝葉斯預測融合:趨勢預測與結構機制解析
https://arxiv.org/pdf/2606.26136
![]()
![]()
摘要
網絡由相互競爭的結構機制塑造,例如社區、幾何或樞紐。在動態網絡中,最具預測力的機制可能會發生變化,而綁定于單一機制或固定權重的模型,無法隨著主導結構的轉變而進行自適應調整。我們開發了用于網絡的動態貝葉斯預測融合,其中一種機制即為預測下一個快照連邊的智能體,而一個融合層則通過隨時間變化的權重將它們結合起來。在每一步,該方法都會返回一個經過校準的連邊預測以及對機制權重的推斷,并附帶在給定擬合智能體條件下有效的置信區間,因此它也能報告哪種機制最具信息量。此類推斷需要一種稀疏安全的參數化方法和一套識別理論,在該理論下,單個圖即可識別并估計這些權重。一個明確的閾值將可區分與不可區分的機制分離開來,活躍機制的變化以最優的每次切換成本被追蹤,而對于單個快照,該方法則退化為經過校準的鏈路預測。在真實網絡、模擬和基準測試中,該融合方法能夠給出準確且經過校準的預測,并在智能體區分度良好時恢復出主導機制。
關鍵詞:動態網絡;貝葉斯預測融合;預測組合;校準;鏈路預測。
1 引言
在單一時間點觀測到的網絡,通常被建模為從某種生成機制中的一次抽樣。有三類標準模型:用于社區結構的隨機塊模型(Holland等,1983;Karrer和Newman,2011),用于幾何結構的隱位置模型和隨機點積圖(Hoff等,2002;Rubin-Delanchy等,2022),以及用于度異質性的配置模型或Chung-Lu模型(Chung和Lu,2002)。在實踐中會出現兩個困難。首先,實踐者很少知道究竟是哪種機制生成了數據。其次,當網絡隨時間發生變化時,能夠最好地解釋它的機制也會隨之改變。接觸網絡在一天之內,會在上課期間的社區結構與休息期間的樞紐結構之間交替變化;而合作作者網絡和在線社交網絡也會隨著社區的形成與解散而重新組織。綁定于單一機制的模型無法跟隨這種變化。使用預先設定的權重來組合多種機制也無濟于事。一旦最具預測力的機制發生改變,那些權重依然會偏向之前占主導地位的機制,從而導致組合結果無法真實反映當前的結構。相反,我們讓權重隨網絡一起變化,并從數據中對其進行估計。權重成為了推斷的對象:我們從單個網絡快照中估計它們(并附帶不確定性),同時追蹤它們隨時間的變化。智能體上的權重是一個殘差化的對數幾率投影系數:正值意味著該智能體攜帶了超越其他智能體的預測結構,而不是指網絡由該機制生成;因此,主導機制是一個依賴于智能體池的論斷,增加或移除某個智能體都可能改變主導地位。時間序列的預測組合是從長歷史數據中學習此類權重的。
機制之間不斷變化的平衡提出了三個問題。競爭機制的權重能否從數據中學習得到,而不是預先固定?從單個網絡中學習這些權重的速率有多快?并且由此產生的預測能否作為經過校準的概率而被信任?現有研究并未回答這些問題。預測組合是為時間序列開發的,而非針對具有單快照推斷的圖值結果。網絡估計處理的是單個固定圖,而非跟隨變化機制的權重。
我們將動態貝葉斯預測融合擴展至網絡領域。預測融合(West和Crosse,1992;McAlinn和West,2019)規定了一組智能體預測與結果之間的關系,并在觀測到智能體和結果時更新這一設定。每種機制都擬合歷史數據,并預測下一個網絡快照的連邊概率。一個融合層通過隨時間變化的系數,在logit尺度上將這些預測結合起來。這些系數是動態線性模型(West和Harrison,1997)的狀態:它們像隨機游走一樣漂移,并根據觀測到的連邊進行更新。在每一步,該方法都會返回兩樣結果:對下一步連邊的校準預測,以及附帶不確定性的權重估計。在單一時間點下,它退化為經過校準的鏈路預測。
![]()
貝葉斯預測融合(Bayesian predictive synthesis)起源于概率評估的協調(Lindley et al., 1979; West, 1984)以及概率性智能體意見的建模(Genest and Schervish, 1985; West and Crosse, 1992),在其中,決策者通過條件融合密度將智能體的預測分布視為數據,從而更新關于結果的先驗。McAlinn 和 West (2019) 通過讓融合系數遵循動態線性模型,使時間序列的融合動態化,而 McAlinn 等 (2020) 將其應用于多元宏觀經濟預測;Johnson (2017) 開發了智能體特定的校準,Tallman 和 West (2024) 引入了決策引導的融合,而 Chernis 等 (2023) 用非參數樹集成替代了線性融合函數。該構建推廣了貝葉斯模型平均(Bayesian model averaging, Hoeting et al., 1999)以及預測分布的堆疊(stacking of predictive distributions, Wolpert, 1992; Breiman, 1996; Yao et al., 2018),并且與意見池(opinion pools, Genest and Zidek, 1986)及最優預測池(optimal prediction pools, Geweke and Amisano, 2011)相關。這一譜系中的每篇論文都作用于標量或向量時間序列:結果是一個數字或低維向量,智能體對其進行預測。沒有一篇作用于圖,在圖中結果是鄰接矩陣,智能體是生成式網絡機制,且信息單元是二元組(dyad)。我們將 McAlinn 和 West (2019) 的動態融合擴展到了網絡。將網絡結構融入融合產生了沒有時間序列對應物的結果:組合權重是從單個圖中識別和估計出來的,這需要一種稀疏安全的參數化和識別理論,而時間序列文獻并不需要這些。
與我們工作最相近的研究將多個網絡預測器組合用于單一預測任務。Ghasemian等(2020)在靜態網絡上將大量鏈路預測算法堆疊為一個近乎最優的元學習器,He等(2024)將基于特征的堆疊擴展至時序網絡,Zhang等(2025)通過K折邊交叉驗證(Li等,2020)對不同潛在維度的潛在空間模型進行平均,從而在鏈路預測上實現漸近最優性。這些是針對網絡的組合方法,我們也將其作為基準進行對比,但它們在輸出結果和理論依據上與本研究的構建有所不同:它們堆疊非機制性的預測器得分,或通過頻率學派標準對單一模型族內的模型進行平均,因此在本文采用的凸池化(convex-pooling)形式下,它們產出的是一個排名,而非經過校準的預測分布;它們不包含校準截距,且結果局限于輸入的凸包之內;此外,它們不提供對任何機制貢獻的推斷,缺乏單快照識別理論、分離率以及追蹤保證。Papamichalis和Ruane(2025)在總體圖限(population graphon)層面組合網絡機制;他們未使用動態狀態,也未對有限圖進行推斷。Papamichalis和Ruane(2026)研究了在單一固定圖中兩種機制何時可區分的問題,Papamichalis等(2025)則以狀態空間形式對網絡上的時變溢出效應進行了建模。本文在三個方面有所不同。首先,它從有限圖中估計組合權重,并附帶不確定性度量。其次,它以最優的單次切換成本追蹤活躍機制的變化。最后,它揭示了在模型誤設(misspecification)情況下模型平均何時會失效。
這些智能體實例化了標準的模型族。社區智能體是混合成員(Airoldi等,2008)和譜(Rohe等,2011)形式的隨機塊模型(Holland等,1983);潛在幾何智能體是潛在空間模型(Hoff等,2002)以及隨機點積圖和廣義隨機點積圖(Athreya等,2018;Rubin-Delanchy等,2022);度智能體是Chung-Lu模型(Chung和Lu,2002);局部智能體是Adamic-Adar指數(Adamic和Adar,2003)。我們將每一個智能體視為一步向前的預測分布并進行組合,而不是從中選擇單一模型(Saldana等,2017;Wang等,2023),也不是將它們的參數合并為單一的混合模型。
針對動態網絡的另一種并行應對方案是擬合單一的動態生成模型:動態潛在空間模型(Sewell和Chen,2015;Durante和Dunson,2014)、動態隨機塊模型(Xu和Hero,2014;Matias和Miele,2017)以及時序指數隨機圖模型(Hanneke等,2010;Krivitsky和Handcock,2014),Goldenberg等(2010)將這些模型與靜態模型族一同進行了綜述。這些方法在整個時間序列中均綁定于單一機制。相反,本文的方法同時保留多種機制,并讓動態融合層隨著它們相對擬合優度的變化對其進行重新加權,這正是實驗所針對的機制轉換(regime-switching)行為。
![]()
![]()
我們在五個真實動態網絡、受控模擬實驗以及鏈路預測基準上對該方法進行了評估,并與模型平均、堆疊方法以及專門構建的動態網絡模型進行了對比。這些真實網絡包括一個金融相關性網絡、具有已知組標簽的高中及醫院病房接觸網絡,以及兩個節點規模達數萬的帶時間戳網絡。其中兩項發現尤為突出。首先,該融合方法產出了經過校準的預測,并附帶帶有有效置信區間的、可解釋的時變權重;其次,一個經過重新校準的潛在空間競爭模型只有在經過單獨的重新校準步驟后才能匹配概率,且不返回任何權重,因此本文的貢獻在于實現了結合機制推斷的校準預測。
2 動態網絡與機制智能體
![]()
![]()
![]()
![]()
3 動態貝葉斯預測融合
![]()
![]()
![]()
![]()
系數向量是動態線性模型(West and Harrison, 1997)的潛在狀態:
![]()
![]()
![]()
計算。 智能體是擬合到觀測歷史的標準靜態網絡模型;動態線性模型僅作用于組合它們的低維權重向量,而不是網絡本身。因為該權重狀態是高斯且線性的,其遞歸使用標準卡爾曼濾波和 Rauch-Tung-Striebel 平滑(West and Harrison, 1997; Papamichalis et al., 2025)。
4 理論
![]()
![]()
![]()
![]()
![]()
![]()
4.1 單快照二元組速率識別與混疊
![]()
![]()
![]()
![]()
![]()
4.2 區分機制的分離速率
![]()
![]()
![]()
4.3 動態追蹤、切換恢復與機制定位
由于權重是按快照學習的,濾波器通過僅針對切換付出代價來追蹤切換機制,并且當邊界條件(margin condition)成立時,一旦折扣信息超過機制之間的邊界,它就能識別出活躍機制。以下定理確立了有界恢復延遲以及識別活躍機制所需的邊界條件,并將通過第 5 節的權重軌跡實驗進行檢驗。
![]()
![]()
4.4 普遍誤設:投影、校準與競爭者差距
當沒有智能體等于真實情況時,權重收斂于對數幾率投影,截距通過得分方程強制實施校準,并且融合通過一個可計算的差距改進了模型平均。
定理 4(投影、校準與 BMA/堆疊差距)。 假設沒有智能體等于真實情況。
![]()
![]()
![]()
4.5 靜態鏈路預測:病例-對照校正與優雅失效
![]()
![]()
![]()
4.6 估計默認值
下面的程序總結了估計過程:在每個快照上,智能體在留出的二元組折(held-out dyad folds)上進行擬合,它們的預測被映射為中心化對數幾率特征(centered-logit features),折扣拉普拉斯濾波器(discounted Laplace filter)更新機制權重,跨折構造(cross-fold construction)返回它們的區間。表 2 列出了全程使用的默認值,每個默認值都配有一個診斷指標,用于提示何時應重新審視它。
![]()
5 數值研究
![]()
![]()
5.1 動態網絡:追蹤與定位
![]()
表 3 報告了預測得分。融合方法是此處比較中校準最好且對數得分最低的方法之一(NLL 0.653,PIT-KS 0.092,ECE 0.123),相比之下,經典組合器和平滑生成模型的 NLL 為 0.83 至 1.96,ECE 為 0.23 至 0.31。比較包括兩個專門構建的動態競爭對手:一個擬合于折扣平均鄰接矩陣的折扣平滑動態隨機塊模型和一個動態潛在空間預測器,以及一個近期加權順序堆疊(He et al., 2024)(NLL 0.94)。凸組合器無法脫離智能體的凸包或攜帶校準截距,因此它們能排序但無法校準。
![]()
動態潛在空間模型對候選邊的排序稍顯敏銳,但校準嚴重失誤(NLL 0.860,ECE 0.225,相比之下融合方法為 0.653 和 0.123)。這是預期的權衡:潛在幾何模型能很好地對候選邊排序,但過于自信,而融合方法為了獲得校準概率在排序上略有讓步。對十八個一步差異進行重采樣,融合方法相比動態塊模型將 NLL 改善了 0.176(95% CI [0.107, 0.240]),相比動態潛在空間模型改善了 0.206([0.101, 0.321])。
![]()
圖 1 報告了五年窗口內的一步對數得分和過濾后的融合權重。上方面板追蹤了一步對數得分:融合方法在整個五年期間保持低位,而 BMA 和堆疊方法則惡化,特別是在 2017 年的平靜期,此時融合方法的 NLL 降至 0.5 以下,而 BMA 超過 1.4。下方面板顯示了過濾權重隨體制重組:在稀疏且具行業結構的 2017 年平靜期,融合方法將大部分權重置于潛在幾何(GRDPG)智能體上,其權重上升至接近 0.44,而在密集且由因子驅動的 2014–16 年壓力期,它轉向了塊和度智能體。權重是按季度學習的,鑒于巨大的每快照邊數,這完全符合定理 1 的許可,并且它們隨市場體制的變動而移動。
![]()
圖 2 顯示了融合方法相對于每個組合器的累積一步向前對數預測得分,按季度累積(McAlinn 和 West,2019;McAlinn 等,2020)。融合方法在序列結束時具有正的累積優勢,比模型平均高出 7.1 納特(nats),比堆疊高出 5.2,盡管個別季度可能有利于競爭對手。
![]()
我們測試競爭對手是否能通過重新校準來匹配融合方法。將預測輪次分為校準折(較早的快照)和評估折(較晚的快照),我們在每個競爭對手的校準折預測上擬合保序回歸(isotonic regression),并將其應用于評估折。重新校準顯著改善了潛在空間競爭對手:其評估折的 ECE 從 0.244 降至 0.047,NLL 從 0.832 降至 0.559,其的決策成本從 0.569 降至 0.401,而已經過校準的融合方法改善幅度較小(ECE 從 0.106 降至 0.049)。重新校準后的競爭對手隨后在每個預測得分上都與融合方法相匹配。因此,融合方法并非唯一最好的預測器;其優勢在于它在提供校準的同時,還提供了機制權重、它們的區間(定理 1c)以及定理 3 的定位,這些是重新校準的嵌入所無法返回的。
將校準截距約束為零重新擬合融合方法,密集標普得分基本不變(NLL 從 0.653 變為 0.646),但實質上降低了補充材料中稀疏 Bitcoin-OTC 網絡上的預測效果,因此自由校準層在圖稀疏時最為重要。固定權重保持平均預測得分不變,因此時變權重是用于追蹤和定位的,而不是為了在穩定面板上獲得平均得分增益。
![]()
根據定理 3,過濾后的權重定位了活躍機制,這可以針對外部標簽進行測試。從相同的每日收益中,但獨立于網絡構建,我們計算了每個季度等權重市場指數的已實現波動率,這是一個標準的壓力指標。它與網絡在體制上的最大特征值份額一致(相關性 0.93),且兩者都在 2015–16 年壓力事件期間達到峰值。從收益計算出的波動率序列是外部驗證器;從相關性矩陣本身讀取的特征值份額是內部一致性檢查。融合權重追蹤了這一體制:潛在幾何權重與壓力呈負相關(相對于外部波動率為 -0.78,相對于內部特征值份額為 -0.91),并且在 2016 年末至 2017 年的五個平靜季度中最大;在壓力下,權重重新分配給塊和度智能體,塊權重在最壓力的季度領先,度權重隨波動率上升最強烈(+0.66)。融合方法在不知道波動率序列的情況下恢復了該體制。
通過將每個相關性矩陣在產生該密度的分位數處進行閾值化,使每個季度的圖密度固定在 0.10,融合方法的優勢和權重重新分配保持不變(NLL 0.622 對比平均的 1.14;社區權重在壓力下為 0.40,對比平靜時的 0.27)。
5.2 兩個帶有已知組標簽的接觸網絡
我們使用了兩個來自不同領域且帶有已知組標簽的動態網絡。第一個是 SocioPatterns 高中面對面接觸網絡(Fournet and Barrat, 2014):可穿戴傳感器記錄了 2013 年 12 月五個上學日內九個班級的 327 名學生之間的近距離接觸,時間分辨率為 22 秒。第二個是 SocioPatterns 醫院病房網絡(Vanhems et al., 2013):記錄了里昂(Lyon)一個病房內 75 名醫生、護士、行政人員和患者在四天內的接觸,帶有四個角色標簽。將每個網絡在其固定節點集上聚合為每小時快照,在稀疏體制下分別得到個快照,我們在其上運行與上述相同的一步向前協議和競爭對手方法。班級和角色標簽對所有智能體留出,僅用于驗證。
在這兩個網絡上,融合方法都以很大優勢成為校準最好的預測器(表 3):在高中網絡上 PIT-KS 為 0.107,ECE 為 0.140;在醫院網絡上分別為 0.119 和 0.139;相比之下,凸組合器的這些指標在 0.29 到 0.49 之間,再次顯示出嚴重的校準失誤。與模型平均相比,融合方法在高中網絡上將對數得分提高了 1.45(95% CI [1.31, 1.57]),在醫院網絡上提高了 1.05([0.90, 1.20])。
![]()
![]()
![]()
這些解讀,連同第 5.1 節的標普(S&P)體制追蹤,匯總于表 4:同樣的融合方法在每個網絡中指認了不同的機制,智能體從未見過的留出信號認可了每一個指認,且沒有任何競爭對手能返回帶有不確定性的可比機制權重。
![]()
5.3 受控模擬
![]()
定理 3 將此深化為一個定位聲明:當一種機制以正邊界裕度(positive margin)活躍時,最大的過濾權重應當指認它。在十一個預測中,針對活躍體制對過濾結構權重的 argmax 進行評分,融合方法在 11 個快照中的 6 個正確進行了定位,且該模式完全符合邊界條件所預測的結果。在社區體制中,SBM 權重在所有三個預測中均為最大(3/3);在樞紐體制中,Chung-Lu 在四個預測中的三個為最大,唯一的失誤是切換后的第一個快照,這正是定理中可見的恢復延遲 h h。在幾何體制中,GRDPG 權重在四個幾何體制預測中均不是最大的。此模擬中的潛在幾何信號與度異質性分離較弱,因此邊界裕度 κ κ 很小,定理 3 的定位條件失效。這與定理一致,定理僅保證在邊界裕度之上進行定位;而第 5.3 節的設計條件診斷(design-conditioning diagnostic)正是預先告知實踐者哪些體制是可分離的。相比之下,校準不依賴于邊界裕度,并始終保持強勁(PIT-KS 0.074)。
定理 3 僅保證在邊界裕度之上進行定位,因此上述幾何失效應是小邊界裕度的人為產物,而非結構性限制。我們通過相同的三體制設計,在較大且分離良好的每二元組對比度下證實了這一點,使三種信號相互區別:社區采用同配塊,幾何采用單位球面上的潛在位置(單位范數,因此幾何信號不攜帶度信息且消除了早期的混疊),度采用期望度乘積。在三十次重復中,在每個體制的穩定快照處,最大的融合權重在每種情況下都落在了真正活躍的機制上,三種機制(包括幾何)的定位命中率均為 1.00(圖 6);唯一的失誤落在切換后立即的一個或兩個快照中,即定理的恢復延遲 h h,這使得所有快照的命中率降至跟隨切換后的兩種體制的 0.58 和 0.60。因此,一旦機制的邊界裕度超過閾值,定位對每種機制都會成功,完全正如定理 3 所預測,而弱邊界裕度的幾何失效是預測的小 κ κ 體制,并非融合方法的局限性。
![]()
![]()
![]()
![]()
![]()
![]()
![]()
誤設下對模型平均的優勢。 在誤設情況下,連貫的貝葉斯模型平均后驗隨著連邊信息的積累,會集中在單個 Kullback–Leibler 最近的智能體上,其權重向量趨于 ( 1 , 0 , 0 ) :這就是 Berk 坍縮,這是后驗的正確行為,但對于組合而言卻是錯誤的默認設置,因為它丟棄了其他智能體而不是對它們重新加權。相反,融合方法保留并重新加權所有智能體,且定理 4 使得由此產生的對數得分差距 (11) 只要真實情況不是單個智能體,就嚴格為正。在這種誤設設定下,該差距在每項研究中均為正,范圍從標普(S&P)網絡上的 0.39 到電網網格上的 3.33;補充材料中的圖 S1 繪制了該差距和熵坍縮。
![]()
5.4 大型動態網絡
![]()
有兩個發現延續到了這個規模(表 6,圖 8)。首先,融合方法是這兩個網絡上校準最好的方法,其 PIT 偏差為 0.031 到 0.061,校準誤差為 0.041 到 0.077,相比之下,每個經典組合器和單個智能體分別為 0.41 到 0.50;在對數得分上,它在兩個網絡的比較方法中均為最低,每個二元組低 2.5 到 3.5 納特。其次,在此規模下權重依然估計得非常精確:它們在引用網絡上偏向度和社區,幾何權重接近零,而在電子郵件網絡上所有三種機制的權重均為正。
![]()
![]()
這兩個網絡屬于不同的體制:在引用網絡上,融合方法既經過校準又具有預測力,而電子郵件網絡則處于推論 5 的近基準率體制中,其中連邊概率幾乎是均勻的,融合方法提供了校準但缺乏區分度。
![]()
6 討論與局限性
![]()
實證研究支持了這些結果。在真實動態網絡上,估計的權重追蹤了獨立于模型識別出的體制變化;在模型平均坍縮和池化校準失誤的地方,融合方法保持校準;并且其優勢在理論所識別的體制變化處最大。其貢獻在于一個單一的模型,它無需單獨的重新校準步驟即可產生經過校準的預測,同時提供可解釋的時變機制權重(攜帶條件區間,對有限維機制為無條件區間),并識別機制變化。非基于機制的預測器可以被重新校準以匹配概率,但無法提供權重或其不確定性。
![]()
我們提出了三個擴展方向。首先,加權或計數值邊將伯努利模型替換為高斯或泊松模型。有向和帶符號網絡需要不對稱的觀測模型,留待未來研究:此處研究的引用和電子郵件網絡原生為有向圖,并被對稱化以適配無向模型,因此原生有向分析(還必須對二元組兩個方向之間由互惠性引起的依賴關系進行建模)是一個真正的擴展,而非簡單的重命名。投影和追蹤論證可以擴展到任何具有平滑對數似然的觀測模型,但有向情況并非直接可得。其次,當網絡快照過于稀疏而無法使用高斯近似時,拉普拉斯濾波器可以被粒子濾波所替代。第三,此處用作基準的動態塊模型和潛在空間預測器(Xu and Hero, 2014; Matias and Miele, 2017; Sewell and Chen, 2015; Durante and Dunson, 2014)可以被納入智能體集合中。
原文鏈接:https://arxiv.org/pdf/2606.26136
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.