可視化與解釋后驗不確定性的方差增量

可視化與解釋后驗不確定性的方差增量

Variance Deltas for Visualizing and Explaining Posterior Uncertainty

https://arxiv.org/pdf/2606.26309

摘要

在觀測性設定中，由于數據生成過程以及可能的樣本量不受控制，通常不可能先驗地保證感興趣的量能夠以足夠的精度被估計。然而，即使數據不能確定感興趣的量，它們可能仍然允許確定什么是缺失的——即未被觀測到的信息，如果這些信息被觀測到，將會顯著地減少不確定性。我們提出了一種被稱為“方差增量”的交互式可視化系統，以使得能夠從貝葉斯后驗分布中發現此類缺失信息。該系統（我們將其作為一個軟件包提供）將缺失信息表示為未觀測模型量的子集，并根據每個子集對感興趣的量的不確定性的解釋程度，將它們組織成一棵樹。該系統既通過最少的用戶輸入自動構建候選子集，又實現了用于子集劃分與組合的交互式操作，從而允許高效地發現有趣且有價值的解釋。我們通過使用該系統來發現不確定性的非顯而易見的解釋來演示該系統，這些解釋針對的是：（1）一個模擬因果推斷問題中的處理效應參數，以及（2）一個包含許多偏差來源的真實民意調查數據預測模型中的總體比例。

關鍵詞：不確定性量化，圖模型，貝葉斯統計，敏感性分析

1 引言

在對數據生成過程既不受控制又復雜的觀測數據進行建模時，關于感興趣量的統計不確定性可能太大，以至于不允許進行任何實質性推斷（Greenland 2009, 2005）。這種癥狀的常見原因包括擁有不足數量的數據、擁有錯誤類型的數據，以及擁有一個感興趣量所依賴的未識別討厭參數。補救措施可能包括收集更多和/或不同的數據，引入先驗信息加以利用，或者重新思考分析的實質性目標。 找到這種不確定性的正確解釋通常是正確減輕或適應它所必需的。但是發現這樣的解釋通常需要對模型進行人工分析和大量的猜測。此外，現有的總結和可視化工具通常不包含我們需要的信息。在貝葉斯推斷中，Gelman等人（2020）指出，通常基于直方圖和散點圖的后驗可視化“沒有完全捕捉我們推斷中多層次的變化和不確定性。” 我們提出了一種交互式可視化系統，以在貝葉斯設定中結構化并部分自動化對此類解釋的搜索。該系統的用戶只需要指定一小部分初始潛在解釋，從中自動生成進一步的解釋并組織成樹狀結構。然后可以交互式地劃分、擴展和合并這些樹的分支，以產生新的解釋。在這些樹中，我們認為信息從根流向葉子解釋，每一個后續的解釋比前一個更弱。因此，我們將這些可視化稱為方差增量，以類比河流三角洲的樹狀流動。我們在一個名為variance-deltas的軟件包中實現了這個系統，我們使用它來生成所有圖表。

1.1 量化解釋

為了可視化不確定性的解釋，我們必須首先度量解釋力。關于可解釋與可解讀機器學習的文獻已經提出了許多用于解釋模型預測的測度（Hullman 等人 2025，Linardatos 等人 2021）。例如，流行的SHAP方法本質上執行了預測相對于預測特征的敏感性分析（Lundberg & Lee 2017，Owen 2014）。我們遵循一種類似的方法來解釋不確定性。

1.3 相關工作

這項工作遵循了關于貝葉斯工作流（Bayesian workflow）的日益增長的文獻，該文獻以集成的方式解決了統計建模流程的所有階段。靜態或交互式圖形在貝葉斯工作流問題中的其他應用包括 shinystan 和 bayesplot 軟件包（Gabry & Veen 2022, Gabry & Mahr 2025）——這是用于繪制 MCMC 輸出和診斷的工具。在貝葉斯設定之外，基于圖的可視化已被用于揭示模型結構和變量重要性（Champion & Elkan 2017, Inglis et al. 2021）。

先前的工作也將敏感性分析（sensitivity analysis）的工具應用于貝葉斯工作流問題。這項工作的大部分研究了推斷對分析中非隨機方面的敏感性，例如先驗設定（prior specification）（Roos et al. 2015, Kallioinen et al. 2023）和數據樣本（data sample）（Nguyen et al. 2024）。另一方面，決策論應用（Decision-theoretic applications）分析關于隨機的、建模的量的敏感性，正如我們在這里所做的那樣。例如，部分完美信息的期望值（expected value of partial perfect information）被定義為：當決策是在基于某個未知量進行條件化和不基于該未知量進行條件化這兩種情況下做出時，期望損失的減少量（Felli & Hazen 1998）。當損失是二次的（quadratic）時，這與我們的不確定性指數 (1) 密切相關（Jackson et al. 2019）。雖然這種信息價值分析通常假設我們要預先知道要在哪些量上進行條件化，但這項工作關注的是發現有趣的未知量集合來進行分析。

我們提出的可視化結構也受到 John Tukey 關于交互式統計圖形的早期工作的啟發（Friedman & Stuetzle 2002）。在超越后驗樣本的直接可視化方面，我們受到了 Tukey 建議的影響，即為了發明有用的新形式的可視化，我們應該“找到潛在有趣的新現象，然后學習如何制作可能揭示它們的顯示”（Tukey 1990）。

1.4 符號

1.5 大綱

本文的其余部分組織如下。第 2 節定義了方差增量（variance deltas），提出了一種半自動生成它們的算法，并介紹了一組用于變換它們的交互式操作。接下來的兩節應用方差增量來發現不確定性的非平凡（nontrivial）解釋。第 3 節將我們的方法應用于使用面板數據的模擬因果推斷問題，其中感興趣的量是處理效應（treatment effect）。然后，在第 4 節中，我們考察了一個應用于 2016 年美國總統大選真實數據的民調模型，其中感興趣的量是選舉日民主黨的選民份額（Democratic share of the electorate）。第 5 節提出了總結性思考。

2 方差增量 (Variance Deltas)

方差增量由兩個組成部分構建：編碼模型中條件獨立性關系的底層樹，以及從樹節點到相應不確定性指數估計值的映射。方差增量的形式化陳述分為四個部分：(i) 其底層的分流樹（distributary trees）的定義，(ii) 一種估計繪制它們所需的不確定性指數的方法，(iii) 一種半自動構建它們的算法，以及 (iv) 用于轉換和擴展它們的交互式操作。

2.1 分流樹 (Distributary Trees)

2.2 可視化與估計不確定性

2.3 構建分流樹

構建有用的分流樹面臨兩個困難，我們將在本節中解決。

1. 手動構建分流樹要求用戶既知道 (i) 應該為樹的節點選擇哪些未知量 ，又知道 (ii) 如何連接節點，以便樹中的每條路徑都滿足馬爾可夫條件 (5)。我們通過定義一種算法來解決這個問題，該算法僅根據根節點（感興趣量）和葉節點的規格說明來構建分流樹。
2. 對于任何給定的模型，僅憑根節點和葉節點通常無法確定唯一有效的分流樹。這是敏感性分析中出現的一個更普遍問題的實例：即需要約束執行分析所針對的量的子集（Constantine & Diaz 2016, Jacques et al. 2006, Iooss & Lema?tre 2015）。因此，我們需要一個額外的標準，以便在算法的任何給定階段，讓我們在構建樹的多個選項之間進行選擇。為此，我們引入了一種解釋特異性（explanatory specificity）的度量。

為了解決這些困難，我們需要分解（factorizations）和因子圖（factor graphs）的概念。

2.3.1 度量解釋的特異性

2.4 分流樹上的操作

給定一個初始的分流樹，我們可能希望添加節點以尋找更好的解釋性集合。為此，我們開發了一套用于修改分流樹的操作。

備注：引理 2 的陳述要求分流樹必須由算法 2 生成，因為該算法產生的對象具有比分流樹定義所保證的獨立性性質略強的獨立性性質。我們在補充材料中給出了這些更強對象的定義，我們將其稱為分離樹。

3 示例：模擬面板數據中的因果推斷

估計處理效應依賴于推斷處理前時期（pre-treatment period）單元之間的相關性，并將這些相關性外推到處理后時期（post-treatment period）。特別是，我們依賴于未處理單元在處理后時期的行為，以了解處理單元在沒有接受處理的情況下可能的行為表現。這種策略以及相應的處理效應推斷可能會以多種方式受到削弱。

缺乏相關數據是對推斷最直接的威脅。例如，在圖 3 中，單元 4 – 6 在處理前時期與單元 1 的匹配度很差，因此幾乎無法提供關于單元 1 在處理后時期的可靠信息。另一方面，單元 2 和 3 在處理前時期與單元 1 高度匹配，但卻造成了另一種對推斷的威脅：盡管在處理前與單元 1 匹配得同樣好，單元 2 和 3 在處理后時期卻發生分歧并給出不兼容的預測。在這種情況下，由于存在太多潛在的相關信息，我們無法自信地推斷處理效應。

3.1 參數與模型

我們使用一個增加了處理效應參數的潛因子模型（latent factor model）來擬合圖 3 中的數據。我們的模型與合成控制（synthetic control）的貝葉斯方法非常相似，這是一種針對觀測面板數據的因果推斷方法論（Abadie et al. 2010, Pang et al. 2022）。具體而言，觀測矩陣被建模為三項之和：

3.2 使用方差增量進行分析

4 民調模型示例

我們的第二個示例應用方差增量來刻畫 2016 年美國總統大選民調復雜模型中的不確定性。特別是，我們分析了 Heidemanns 等人 (2020) 的模型，該模型包含了時間趨勢、州際相關性以及幾種潛在偏差/測量誤差來源的成分。我們使用方差增量來分離兩個模型成分，這兩個成分共同解釋了大部分后驗不確定性，并使我們能夠確定這種不確定性可以在多大程度上被降低。

數據是 2016 年美國總統大選在州和國家級民調的一個子集。每項民調都報告了受訪者人數以及支持民主黨候選人希拉里·克林頓的人數。我們的目標是預測選舉日各州將支持民主黨候選人的選民比例。

4.1 參數與模型

4.2 使用方差增量進行分析

5 結論

我們引入了方差增量（variance deltas），這是一種用于解釋貝葉斯模型中關于標量感興趣量的后驗不確定性的交互式可視化方法，并將該系統實現為一個名為 variance-deltas 的軟件包。當貝葉斯模型具有分解 F F 時，我們表明相應的馬爾可夫圖 可用于半自動地構建和轉換方差增量，從而實現潛在解釋的高效生成與探索。

我們的兩個示例表明，方差增量能夠迅速排除對不確定性的拙劣解釋，并將我們的注意力集中在模型量的特定、可解釋的子集上，這些子集可以解釋我們整體不確定性的很大一部分。在模擬面板數據示例中，我們能夠識別出在較長時期內進行觀測會有用的小單元組合，同時確定其他單元的價值微乎其微。在民調模型示例中，我們能夠分離出一對解釋了我們要大部分不確定性的參數，指引我們要去獲取特定類型的信息，以消除分析中的瓶頸。

原文鏈接： https://arxiv.org/pdf/2606.26309