超越全球差異: 貝葉斯推理的局部質量視角

Beyond Global Divergences:

A Local-Mass Perspective on Bayesian Inference

超越全球差異: 貝葉斯推理的局部質量視角

https://arxiv.org/pdf/2606.27090

摘要

全局目標（如KL散度和ELBO）在貝葉斯推斷中被廣泛用于衡量分布差異。本文研究了此類目標無法直接捕捉的“局部質量行為”。我們引入并使用了兩種數學工具：（1）質量指數（Mass Index），用于記錄局部質量的多項式和對數衰減尺度；（2）正則化擴展KL散度（RE-KL），這是一種在存在奇異分量時仍可構建的集合局部化散度。質量指數有助于刻畫貝葉斯更新如何改變局部質量：（1）冪-對數似然因子會顯式地移動它；（2）依賴于參數的支撐集（或其平滑軟化形式）可能會通過保留在參數值附近的質量數量來改變局部尺度。利用局部RE-KL，我們證明了絕對、相對和方向不等式，用于比較兩種KL方向下的局部小球質量。綜合來看，這些結果為局部質量行為提供了一個局部的理論解釋。實驗對局部行為進行了受控的示例說明。代碼可在 https://github.com/Forsythia0604/Local-Mass-Framework 獲取。

1 引言

全局目標，如Kullback-Leibler（KL）散度和證據下界（ELBO），是貝葉斯推斷中的標準方法[16, 18, 23, 5]。然而，全局接近度并不必然決定概率質量在特定參數值附近的行為方式。貝葉斯漸近理論長期以來通過后驗收縮的先驗質量與小球條件使這一局部問題得以顯式化，而稀疏、奇異和受約束的貝葉斯模型則提供了常見的場景，在這些場景中，概率質量在特殊參數值附近的行為具有實質性的重要意義[10, 6, 27]。這類問題無法被單一的全局散度值完全捕捉。一個分布序列可以在KL散度上收斂，同時仍在固定點周圍表現出不同的小球縮放。

我們證明，如果似然函數在參數值附近是局部正則的，貝葉斯更新會同時保持冪次和對數局部質量尺度。因此，貝葉斯更新可以分解為先驗局部尺度和似然誘導的局部修正。當支撐集依賴于參數時，似然函數可能包含一個硬支撐約束，該約束移除了參數值附近的部分先驗質量。我們證明，此時局部質量由在收縮鄰域中經受住約束而幸存的先驗質量分數所支配。如果這個幸存分數以多項式或對數速率衰減，后驗質量指數將相應地移動相應的量。我們還表明，平滑硬約束可能無法保持這種局部結構：軟化似然函數的零溫極限與小鄰域極限不一定可交換。

隨后，我們研究兩個概率測度之間的局部差異。RE-KL 給出了局部概率質量的絕對界和相對界。這些界暗示了比較質量指數的方向性充分條件。從近似到目標的方向是剛性的：足夠小的歸一化局部 RE-KL 強制局部冪次尺度相等，并且在定義時對數尺度也相等。從目標到近似的方向較弱：有界的局部散度防止近似在局部比目標更稀疏（thinner），但仍然允許額外的局部集中。這直接用局部小球質量表達了 KL 方向之間通常的不對稱性。

數值實驗闡明了該理論。合成示例展示了規則質量、耗竭（depletion）、尖點（cusps）、對數修正和原子（atoms）。一個 UCI 貝葉斯邏輯回歸實驗表明，常規貝葉斯更新可以在保持主導局部冪次階數的同時，極大地增加拉普拉斯均值附近的后驗質量。最后一個玩具示例展示了局部 RE-KL 的方向性，其中一個方向保持有界，而另一個方向在收縮鄰域上發散。

2 相關工作

3 預備知識

4 局部質量框架

我們現在引入局部質量框架。在全文中， p p 和 q q 表示 Θ Θ 上的兩個任意概率測度。

4.1 質量指數：關于局部小球尺度

4.1.1 基本校準

以下命題記錄了質量指數的基本局部校準。

4.2 RE-KL：一種集合局部化散度

Avlogiaris 等人 [1] 引入了基于 Csiszár ? ?-散度的局部散度，而 Póczos 等人 [25] 研究了全局 Tsallis- α α 散度及其非參數估計。我們的構造與兩者都相關：我們在擴展 f f-散度框架 [28, 29] 內使用 Tsallis 型生成元，并將其局部化到一個可測集 E E。由此產生的量分離了絕對連續和奇異的貢獻，并將它們與小球質量行為聯系起來。

因此，當前的定義可以被視為標準擴展 f f-散度的一種溫和局部化，它在隔離可測集 E E 的貢獻的同時，追蹤相應的奇異部分。

4.3 為什么全局 KL 是不夠的

全局 KL 散度不一定決定局部概率質量。相關但不同的關注點出現在 GAN 文獻中，涉及模式崩潰（mode collapse）和模式覆蓋不全（incomplete mode coverage）[19, 30]。我們僅利用這種聯系作為動機，將全局接近度與局部小球行為區分開來。下面的結果通過冪次質量指數（Power Mass Index）闡述了這一區別，并表明僅憑全局 KL 收斂不一定能決定 θ θ 處的局部冪次階。

5 局部質量保持理論

利用第4節開發的兩種局部工具，我們分析了在貝葉斯更新和變分近似下，局部概率質量和局部差異的數學結構。

5.1 貝葉斯更新與局部質量縮放

我們首先研究貝葉斯更新如何改變局部質量。

5.1.1 貝葉斯更新下的穩定性

我們證明了一個結果，刻畫了似然如何影響貝葉斯更新下局部質量的保持。該分析基于以下兩個假設。

5.2 質量指數的局部 RE-KL 分析

MI 提供了一種刻畫概率分布局部質量的方法。下方的局部 RE-KL 界給出了用于比較兩個測度質量行為的局部界和充分條件。

局部 RE-KL 界。 我們首先展示絕對連續分量和奇異分量如何共同對絕對誤差做出貢獻。

定理 5.4（絕對誤差界）。 對于任意可測集 E E，

6 實驗

7 結論

本文研究了貝葉斯推斷中作為測度級量的局部小球質量
。其目的并非提出一種新的全局散度或可擴展的診斷方法，而是為了精確闡明在貝葉斯更新和近似下，局部質量尺度如何發生變化。

我們做出了三項具體貢獻。首先，我們利用質量指數記錄了局部小球概率的主導冪次階和首個對數修正。其次，我們推導了貝葉斯更新的局部尺度恒等式，展示了正則似然如何保持局部尺度，冪-對數似然因子如何移動它，以及參數依賴的支撐集如何通過幸存的先驗質量分數發揮作用。第三，我們利用局部 RE-KL 證明了用于比較小球質量的絕對、相對和方向性界，從而得出了在兩種 KL 方向下質量指數相等或進行單向比較的充分條件。

這些結果應被視為局部漸近尺度比較，而非對全局變分最小化者的刻畫。實驗為理論中出現的量和機制提供了有限半徑下的示例說明。

原文鏈接：https://arxiv.org/pdf/2606.27090