從貝葉斯定律到貝葉斯定理：最優信息處理與超越概率的公理基礎

From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

從貝葉斯定律到貝葉斯定理：最優信息處理與超越概率的公理基礎

https://arxiv.org/pdf/2607.08019

摘要

本文針對可能性推理開發了基于原則的更新規則，其中關于固定參數的不確定性由可能性函數表示，該函數是概率分布的極大化對應物，且比較通過偏序逐點進行。從兩個互補的基礎——信息守恒視角和公理化視角——我們推導出了相同的典范更新規則：后驗等于先驗與似然的乘積，隨后進行上確界歸一化。對于任意損失函數，這兩種推導結果一致，僅在學習率參數的引入位置上有所不同。該參數控制認知確信度，且僅憑歸一化證據無法識別，這闡明了類似學習率參數在廣義貝葉斯更新中的作用。

1 引言

貝葉斯法則在統計推斷中占據著獨特的地位：它既是更新信念的操作框架，也是評判其他替代更新規則的基準。然而，經典統計學和現代機器學習都普遍偏離標準的貝葉斯更新。經典例子包括逆概率方法和替代的事后構造，而現代例子則包括基于損失的“廣義貝葉斯”更新、調溫后驗，以及不確定性并非自然可加的證據融合方案。這些偏離提出了一個易于表述但在概念上難以解答的基本問題：究竟是什么使得貝葉斯法則成為處理信息的“正確”方式，且這一答案如何依賴于信息的數學表示？

重新審視這個問題的一個途徑是將推斷視為信息處理。從兩個輸入出發，即 i) 關于未知但固定的感興趣量的先驗信息，以及 ii) 數據通過似然或損失提供的信息，人們尋求一種基于原則的信息處理規則（IPR），以輸出知識狀態的數據后表示。在概率框架下，這種視角通常與 Zellner [1988] 關于信息守恒原則（ICP）的工作相聯系，其中貝葉斯法則作為唯一的 IPR 出現，它守恒了所選定的信息標量度量。與此同時，Bissiri 等人 [2016] 的框架表明，當數據通過損失而非數據生成機制（DGM）引入時，關于損失應如何累積以及更新在限制條件下應如何表現的一致性要求，必然導出了 Gibbs（指數化損失）后驗。

2 相關工作

除了 Bissiri 等人 [2016] 之外，廣義貝葉斯的基礎性視角還包括基于散度/評分規則的動機 [Jewson 等人，2018，Knoblauch 等人，2022]、基于通用準則函數的擬后驗 [Chernozhukov 和 Hong，2003]，以及針對誤設魯棒性校準損失尺度/學習率的工作 [Grünwald 和 van Ommen，2017，Syring 和 Martin，2019，Lyddon 等人，2019]。在與 Zellner [1988] 相關的信息處理傳統中，貝葉斯更新還與信息論投影原則（最大熵/最小交叉熵和最小判別信息）及其公理化特征 [Jaynes，1957，Shore 和 Johnson，1980，Csiszár，1975] 密切相關。

可能性理論中的類貝葉斯更新長期以來通過條件可能性和獨立性/非交互性的概念進行研究，導致了幾個相互競爭的條件規則和系統處理 [Hisdal，1978，de Cooman，1997]，其中 Walley 和 de Cooman [1999] 提供了關于此類條件規則的行為/一致性視角。Dubois 等人 [1997] 開發了一種基于似然的可能性測度方法。我們的貢獻不同之處在于，我們推導出上確界歸一化的先驗-似然乘積作為與（基于損失的）更新和信息守恒相兼容的唯一信息處理規則，而不是先驗地假設一個條件規則。我們的方法與最近的不精確概率視角相一致，在該視角中，當將似然與部分先驗信息結合時，上確界歸一化成為適當的校準步驟 [Martin，2026]。更廣泛地說，這一視角與新興的不精確概率機器學習（IPML）文獻相一致，該文獻涉及在不精確信息下的學習和決策，例如 Caprio 等人 [2024]、Singh 等人 [2024] 或 Chau 等人 [2025]。Dubois 和 Prade [2015，第 5 章] 對可能性理論及其與概率的關系進行了綜述，我們借鑒該綜述來證明將兩者結合的合理性：我們的實際重點是概率似然與可能性先驗的混合設置，即將數據視為隨機的，而關于 θ θ 的信念保持為可能性的。

在不精確概率模型中，我們使用可能性測度，因為它們由可能性函數進行的逐點表示使得支撐視角 1 的上的偏序成為可能，在這種偏序下，丟失和創造成為逐點現象而非標量總結。集函數模型，例如相干下 prevision [Walley，1991]、不精確 Dirichlet 模型 [Bernard，2005]、p-boxes、概率區間或失真模型，也支持廣義貝葉斯更新，并且可以通過置信集包含進行排序，但它們沒有同樣直接的逐點序，因此在那里的信息守恒分析將需要一種不同的不平衡概念。

最直接相關的是 Singh 等人 [2025] 的姊妹篇論文，該論文開發了 Donsker-Varadhan 變分公式的極大化（maxitive）類比，并將其應用于可能性變分推斷。這兩篇論文是互補的：Singh 等人 [2025] 側重于計算和目標驅動（變分特征和易于處理的候選分布族），而本文則是基礎性的，通過信息處理和公理化視角對更新規則本身進行公理化，并解釋了為什么上確界歸一化的先驗-似然乘積是典范的。這兩個視角直接相連：我們對后驗的無丟失/無創造特征（第 4.3 節）與他們的雙重一致性界相吻合，并且我們將他們的變分唯一性結果作為信息守恒陳述進行了恢復。這一研究計劃已經延伸到了深度學習領域：Ni 等人 [2026] 在概率單純形上實例化了可能性后驗，通過學習一個狄利克雷（Dirichlet）可能性函數來近似上確界投影后驗，該函數通過最小化 Singh 等人 [2025] 提出的極大化散度來實現，并以單次前向傳播的代價獲得了與最先進水平相媲美的二階不確定性預測器，這正是本文所刻畫的更新規則的一個下游應用。

3 可能性理論

現有結果。 更新規則 (1) 已經與其概率對應物共享許多性質，例如 Bernstein–von Mises 定理 [Hieu et al., 2025]。我們在本工作中不關注這些性質，因為它們主要是后果性的而非刻畫性的，即，它們是從 (1) 出發而不是推導出 (1)。

4. 觀點1：最優信息處理

Zellner [1988] 表明，標準貝葉斯后驗分布可以從一個將輸入信息轉換為輸出信息的IPR（信息處理規則）中恢復出來。這一論證依賴于引入一個通用的后驗數據分布作為輸出信息（連同證據）的組成部分之一，然后將其與基于先驗（或前數據）分布和似然函數的輸入信息進行比較。為完整起見，Zellner [1988] 這一論證的詳細回顧在附錄C中提供。

4.1 我們對Zellner分析的看法

我們首先強調一個根本性的要點：在Zellner的ICP（信息守恒原理）中，被守恒的并非信息本身，而是信息的一種數值度量，即信息量。Zellner [1988] 本人將IPR的效率表述為以適當選擇的度量衡量的輸出信息，因此比較輸入和輸出在構造上就是依賴于度量的。關于信息被“丟失”、“創造”或“守恒”的陳述，只有在通過度量的選擇將這種信息映射為標量之后才變得有意義。

從這個角度來看，Zellner的ICP可以被解釋為一條關于信息的特定數值表示之守恒的原理，而非關于作為抽象對象的信息本身。

測量信息的一個自然候選是香農熵。然而，香農熵是一個絕對量：它并非在兩個信息對象之間關系性地定義的。因此，它并不提供一種直接的機制來比較來自不同來源的輸入信息和輸出信息。特別是，僅憑熵本身并不能引出一個連接這些不同對象的有意義的守恒原理。為了克服這一困難，Zellner采用了香農交叉熵，這是一個相對于參考分布定義的相對量。這一選擇使得ICP在數學上是確定的，并導出一個滿足守恒條件的唯一后驗數據分布，即貝葉斯后驗分布。等價地，貝葉斯法則最小化標量泛函?(IPR)，盡管這種變分形式是守恒性質的重述，而非原始原理。然而，重要的是，這種唯一性是所選信息度量所帶來的結果，而非信息處理本身的內在屬性。

在Zellner的框架內，由IPR所引發的信息損失?(IPR)可以被重寫為：

我們認為，這些悖論本質上是認識論層面的。比較輸入和輸出信息隱含地假設了信息對象可以被有意義地排序或比較。當信息由概率分布表示時，這一假設是有問題的：Θ上的概率分布集合P(Θ)并不存在類似于可能性函數序那樣的規范逐點信息量序。因此，分布之間的任何比較都必須通過外部選擇的泛函來實現，例如熵或交叉熵。因此，ICP并非直接比較信息對象，而只是比較從它們導出的標量摘要。所以，從這類比較中得出的結論與信息度量的選擇相關聯，不能被視為信息處理的內在屬性。

我們的主張是，可能性理論為直接比較信息對象提供了一個更合適的框架。Θ上的可能性函數集合F(Θ)天然地由以下方式偏序化：

這種結構允許一個最大元素（恒等于1的常函數），它代表完全無知，這一概念在概率論中沒有直接對應物。在這個有序的框架內，信息可以在無需訴諸標量摘要的情況下進行比較：一個信息對象可以被直接說成包含比另一個更多或更少的信息。

在下一小節中，我們將表明，當信息由可能性函數表示且ICP（信息守恒原理）以序關系 ? 來表述時，可能性貝葉斯法則作為唯一守恒信息的后驗數據信念而出現。此外，該框架允許在不依賴任意數值度量的情況下，清晰地識別出那些真正導致信息損失或信息增益的IPR（信息處理規則）。

4.2 可能性貝葉斯法則作為最優信息處理

我們現在在可能性框架內將統計推斷重新表述為一個信息處理問題。與前一節一樣，信息處理規則（IPR）將給定的輸入信息轉換為輸出信息。關鍵區別在于對未知參數不確定性的表示：關于參數θ的不確定性由可能性函數表示，而似然函數是基于損失的，并帶有一個強度參數w ≥ 0，如第3節中所確定的，它是一個外生輸入而非損失本身的一個特征。

這里的目標有三重。首先，我們表明在該框架內，信息損失和信息創造都可能發生。其次，我們表明貝葉斯法則作為既不損失也不創造信息的唯一IPR而出現。最后，我們將此結果與概率設置進行對比，在概率設置中，這種區分在構造上是不可能的。

我們考慮一個后驗數據可能性函數g(θ | y)，并不假設它必須遵循貝葉斯法則。相反，它完全由所選的IPR決定，其最優性有待刻畫。與概率情形相比，信息不再由標量期望（即交叉熵）來概括。相反，信息直接表示為參數空間上的一個函數。

信息創造與信息損失。一個IPR不創造額外信息當且僅當：

這與概率框架形成鮮明對比，在概率框架中，這種區分由于信息度量的標量性質而被排除。

4.3 與極大值Donsker-Varadhan對偶性的聯系

5 觀點2：公理化方法

這些公理分別施加了序貫一致性、限制兼容性、損失單調性、空損失不變性以及可加損失平移不變性。逐條公理的討論見附錄D。盡管這些公理與Bissiri等人[2016]的一致性邏輯非常相似，但這里的要點在于，這一論證并非概率論所特有。然而，這并非簡單的積分到上確界的替換。這些公理是Bissiri一致性條件的可能性對應物，而非其強化；額外的工作在于證明本身。由于可能性函數僅通過其兩兩比值（在滿足上確界約束的意義上）被確定，概率歸一化不能簡單地被復用，而是必須從相同的公理出發，證明極大值限制（A2.2）保持兩兩比值，二元可能性函數可以從這些比值中恢復，并且二元更新在三元組上保持一致（附錄E）。

兩種觀點的收斂性。

6 討論

本文刻畫了可能性推斷中的一種規范貝葉斯式更新。在信息守恒觀點和公理化觀點下，后驗分布均為具有上確界歸一化的先驗-似然乘積，并且兩種推導對于任意損失都得到相同的單參數族。結果還表明，學習率對兩種推導而言都是外生的：它支配認知強度，且通常不能僅從證據中學習得到。

信息刪除。另一個自然的方向涉及信息處理的逆問題。雖然當前的工作探討如何將新信息納入現有知識狀態，但人們同樣可以問如何移除先前獲得的信息。在概率設置中，這個問題最近以“貝葉斯遺忘”之名引起了相當大的關注。除了其實踐動機之外，Montcho和Rue [2026] 近期關于最優信息刪除的工作表明，貝葉斯遺忘本身也具有原則性的信息處理解釋，為貝葉斯定理在信息獲取中所扮演的角色提供了一個概念性的對應物。

這一視角暗示了當前工作的自然延伸。與其將可能性遺忘僅僅視為一個算法問題，不如探討它本身是否可以從第一性原理出發來刻畫，這將是有趣的。特別是，人們可以問，是否可以從一個鏡像了第4節中發展出的信息守恒觀點的最優信息刪除原則，或者等價地從一個與第5節中一致性論證相平行的公理刻畫，來推導出規范的可能性遺忘規則。這樣的結果將為概率遺忘領域的最新發展提供一個可能性對應物，同時進一步檢驗本文所發展的基本原理的適用范圍。

未來方向。本文并不旨在開發完整的推斷或決策流程，也不提供實證比較；我們的貢獻在于闡明在更廣泛的“貝葉斯法則”家族中，哪些信息原則和一致性要求能夠獨選出特定的更新規則。重要的后續步驟包括：i) 基于覆蓋/有效性或預序準則的認知強度參數（例如 w w）的系統校準策略，ii) 研究通過復雜模型傳播 α α-截集所獲得的預測集構造，以及iii) 刻畫不同的合取算子（超越乘積t-范數）如何誘導出不同的更新規則和不同的操作性保證。這些方向將把當前的基礎工作與具體算法和基準測試聯系起來。

原文鏈接：https://arxiv.org/pdf/2607.08019