基于成分數(shù)據(jù)分析的幾何感知貝葉斯量化

基于成分數(shù)據(jù)分析的幾何感知貝葉斯量化

GEOMETRY-AWARE BAYESIAN QUANTIFICATION VIACOMPOSITIONAL DATA ANALYSIS

https://arxiv.org/pdf/2607.04977

摘要

準確估計未知的目標標簽分布是適應標簽偏移的關鍵第一步。這項被廣泛稱為量化或類別流行度估計的任務，最近通過基于連續(xù)KDE的方法取得了顯著進展，這些方法對多分類分類器后驗的密度進行建模。后驗向量可以被視為成分數(shù)據(jù)，因為它們位于概率單純形上。然而，現(xiàn)有的基于KDE的量化器通常依賴于歐幾里得高斯核，這忽略了單純形幾何，并在其邊界外錯誤地分配概率質量。我們引入了一種基于對數(shù)比表示和Aitchison幾何的多分類量化幾何感知KDE模型，并結合了一種收縮正則化以提高單純形邊界附近的魯棒性。結合基于KDE的量化的最大似然解釋，我們推導了類別流行度的點估計和貝葉斯推斷程序。在跨越表格、文本和圖像領域的42個數(shù)據(jù)集上的實驗表明，所提出的方法與最先進的量化器具有競爭力，通常優(yōu)于標準的基于KDE的基線，同時在貝葉斯量化方法中也產生了強勁的結果。

1 引言

部署在實際場景中的機器學習模型經(jīng)常遇到標簽偏移[41]。適應這種偏移需要準確估計未知的目標標簽分布。這個問題被稱為量化[16]或類別流行度估計[31]，在總體趨勢比個體預測更重要的領域中，是一項關鍵的獨立任務。此外，它作為標簽偏移適應的基本基礎，因為嚴格需要準確的流行度估計來計算用于分類器重訓練的重要性權重[3]。

許多突出的方法，如標簽偏移最大似然（MLLS）[38]和黑盒偏移估計（BBSE）[31]，直接對基礎分類器產生的后驗概率進行操作。在多分類量化中，使用像KDEy [35]這樣基于密度的方法對這些后驗的連續(xù)分布進行建模，已成為一種自然保留跨類別依賴結構的強大替代方案。因此，KDEy越來越多地被用作各種應用領域的穩(wěn)健解決方案，如信息檢索中的公平性監(jiān)控[27]、圖相關應用[8, 33]、分類器準確率預測[44]和醫(yī)療保健中的醫(yī)學成像[20]。

然而，通過連續(xù)密度估計對分類器后驗進行建模引入了一個根本的幾何不匹配。后驗概率向量位于概率單純形上，因此構成成分數(shù)據(jù)?，F(xiàn)有的基于KDE的量化器依賴于歐幾里得空間中的高斯核，這忽略了這種相對結構，并不可避免地在單純形邊界外分配概率質量。這種不匹配在單純形邊界附近變得特別成問題，在許多實際場景中后驗概率在那里高度集中。

在這項工作中，我們從成分數(shù)據(jù)分析（CoDA）[1]的角度重新審視多分類量化，以解決這一瓶頸。我們引入了一種基于對數(shù)比變換的幾何感知核，能夠在Aitchison幾何中進行連續(xù)密度估計。雖然這種表示與底層的單純形結構更一致，但樸素的對數(shù)比建模在邊界附近可能不穩(wěn)定。為了解決這個問題，我們提出了一種提高魯棒性的基于收縮的正則化?；谶@種表示，我們將量化公式化為一個混合密度估計問題，該問題自然地允許對類別流行度進行點估計和貝葉斯推斷。在跨越表格、文本和圖像領域的42個數(shù)據(jù)集上，所提出的方法實現(xiàn)了與最先進方法具有競爭力的性能。它經(jīng)常改進標準的基于KDE的量化器，同時提供了單純形上連續(xù)密度估計的原則性幾何公式。

2 相關工作

關于標簽偏移適應和量化的文獻主要集中在標簽偏移（又稱先驗概率偏移）的設置上[41]。現(xiàn)有方法包括分類計數(shù)變體（例如，BBSE [31]，在量化文獻中也稱為調整分類計數(shù)（ACC）[16]或[38]中的混淆矩陣方法）、分布匹配方法[21, 5, 11]，以及通過期望最大化的最大似然方法（例如，MLLS，在量化文獻中通常稱為EMQ）[38, 4, 3]。其中，像KDEy這樣基于KDE的方法最近已成為多分類設置中的強勁方法[35]。

基于自舉的方法已被探索用于推導量化中的不確定性估計[24, 9, 42]。針對特定估計器，也開發(fā)了置信區(qū)間估計的分析方法[14, 10]。最近，已為標準量化器提出了貝葉斯量化方法[15]；示例包括用于BBSE/ACC的BayesianACC1、用于MLLS/EMQ的MAPLS [46, 25]，以及用于HDy [21]的精確量化器（PQ）[26]。然而，PQ使用的分箱概率上的多項式模型（HDy直方圖表示的類似物）繼承了單變量離散化密度模型的局限性，因此僅限于二分類問題。這些局限性被基于KDE的連續(xù)多變量密度模型所克服[35]。

盡管如此，先前沒有工作為基于KDE的量化器開發(fā)貝葉斯公式；我們填補了這一空白。我們還注意到，基于高斯核的KDE模型可能不適合成分數(shù)據(jù)。在成分數(shù)據(jù)文獻中確實存在歐幾里得KDE的單純形支持替代方案，最著名的是Dirichlet核和邏輯正態(tài)核估計器[2]。后續(xù)工作進一步發(fā)展了對數(shù)比路線，特別是通過在等距對數(shù)比（ILR）坐標中定義的高斯核以及現(xiàn)代帶寬選擇方法，表明當目標是尊重成分數(shù)據(jù)的幾何時，這條路線特別自然[6, 32]。同時，Dirichlet核在理論上仍然具有吸引力，因為它們原生支持在單純形上并表現(xiàn)出有利的邊界行為[37]。在實踐中，直接將標準成分核應用于分類器輸出是困難的，因為自信的預測導致（大概校準良好的）后驗在單純形邊界處高度集中。此外，與標準歐幾里得KDE不同，這些單純形感知估計器缺乏用于機器學習流水線的直接插入實現(xiàn)。通過引入收縮正則化對數(shù)比表示，我們彌合了這些差距，提供了一種數(shù)學上有原則但在計算上實用的解決方案。

4 基于KDE的量化中的幾何不匹配

幾何不匹配在單純形邊界附近尤為嚴重。在許多實際的分類問題中，后驗向量傾向于集中在頂點或邊附近，這對應于高置信度的預測或各類別間高度不平衡的不確定性。對于已知存在過度自信問題的神經(jīng)分類器來說，情況尤其如此，在這種情況下需要進行后驗校準[22]。在這些區(qū)域，歐幾里得高斯核將其概率質量中不可忽略的一部分分配到了單純形之外，而這正是支撐約束最嚴格的區(qū)域。與此同時，來自成分數(shù)據(jù)分析（CoDA）的天然工具（即對數(shù)比變換，如中心對數(shù)比（CLR）和等距對數(shù)比（ILR）映射）在邊界附近變得越來越敏感，因為在那里一些坐標趨近于零。這產生了一種矛盾：雖然對數(shù)比幾何對于取值于單純形的數(shù)據(jù)更為合適，但在幾何不匹配影響最大的情形下，對CLR/ILR的樸素應用本身可能會變得不穩(wěn)定。圖1說明了這種效應。

這些觀察結果表明，基于密度的量化應該在單純形的幾何感知表示中進行，而不是在環(huán)境歐幾里得空間中進行。在下一節(jié)中，我們使用對數(shù)比坐標來構建這種表示。我們進一步表明，盡管CLR/ILR提供了正確的幾何框架，但仍需要額外的正則化才能在單純形邊界附近獲得穩(wěn)定的密度估計。

5 收縮正則化的幾何感知 KDE

盡管對數(shù)比坐標具有幾何吸引力，但它們在單純形邊界附近是微妙的。每當 p p 的一個或多個分量趨近于零時，相應的對數(shù)比在量級上會變得很大，這可能導致不穩(wěn)定的密度估計和高度扭曲的局部幾何。這在量化中尤為成問題，因為后驗概率可能會合理地達到零或接近零的值。為了緩解這個問題，我們引入了一種收縮變換，它將每個成分從邊界移開并朝向單純形的重心

5.2 貝葉斯后驗推斷

前述結果直接導出了幾何感知 KDE 量化的貝葉斯表述。給定流行度向量上的先驗，后驗分布為

因此，盡管精確的單純形密度在形式上包含一個雅可比項，但后驗推斷可以直接使用上述未歸一化的后驗在變換坐標中進行。這是使貝葉斯推斷在基于KDE的量化中變得實用的關鍵觀察。請注意，相同的抵消論證也適用于點估計，因為在變量變換下，獨立于 π π 的乘法常數(shù)不會影響公式1中的 argmax。

6 實驗

數(shù)據(jù)集。 我們在 42 個跨越文本、表格和圖像領域的數(shù)據(jù)集上進行評估，類別數(shù)量范圍從 2 到 100，這些數(shù)據(jù)集曾在先前的相關研究中使用。文本套件包括標準的 LeQua 基準 [12, 13] 和 11 個 Twitter 情感數(shù)據(jù)集 [17]；表格套件包含 22 個 UCI ML 數(shù)據(jù)集 [28]；圖像套件包括 CIFAR10/CIFAR100 [29]、MNIST [30]、FashionMNIST [45] 和 SVHN [36]。完整的數(shù)據(jù)集統(tǒng)計信息見附錄 D.1。

6.1 結果

計算成本。 所提出的方法需要優(yōu)化帶寬和收縮，這增加了計算成本。然而，一旦設定，推理時的成本與競爭對手沒有顯著差異。所有實驗都在標準臺式工作站上運行，無需專用的高性能計算基礎設施。

7 結論

我們提出了一種在標簽偏移下進行多類量化的幾何感知、不確定性感知方法。該方法基于兩個想法。首先，我們通過成分數(shù)據(jù)分析重新審視了基于KDE的量化，用與單純形幾何更好對齊的收縮正則化對數(shù)比表示，替代了后驗概率上的歐幾里得密度估計。其次，我們證明了該密度模型允許貝葉斯公式化，從而能夠對類別流行度進行后驗推斷并進行原則性的不確定性量化。在經(jīng)驗上，所提出的幾何感知KDE在點估計和不確定性量化方面通常優(yōu)于標準高斯KDE和其他基線。這些結果表明，尊重單純形幾何不僅有充分的動機，而且在實際中對多類量化也是有益的。我們的實驗還表明，僅靠幾何感知是不夠的：收縮對于穩(wěn)定單純形邊界附近的對數(shù)比建模至關重要。

局限性和開放方向： 我們的研究僅限于通過驗證選擇收縮和帶寬值的情況，而對這些參數(shù)進行更完整的貝葉斯處理可能值得研究。我們的方法強烈依賴于標簽偏移所特有的分布假設。研究針對不同類型偏移（如協(xié)變量偏移 [43] 或稀疏聯(lián)合偏移 [7]）的變體，似乎是量化領域未來工作的一個有前景的方向。

原文鏈接：https://arxiv.org/pdf/2607.04977