多模態回歸的高效解析不確定性量化

Efficient Analytic Uncertainty Quantification for Multi-Modal Regression

多模態回歸的高效解析不確定性量化

https://arxiv.org/pdf/2606.25188

摘要

高效的不確定性量化（UQ）對于可信的大規模學習至關重要。現有的針對回歸任務的 UQ 方法主要在條件標簽邊緣分布滿足單峰參數模型（例如高斯分布）的假設下運行，其中負對數似然函數簡化為均方誤差。然而，這種單峰假設在具有多峰分布的回歸任務中會失效。另一方面，在多峰分布上實現強大回歸性能的半參數方法通常缺乏對其預測方差的高效量化。在這項工作中，我們將基于變分貝葉斯推斷（VBI）的 UQ 技術擴展到兩種廣泛使用的半參數回歸模型，這兩種模型能產生條件標簽密度的類似直方圖的重建：分位數回歸（QR）和分類恢復（CR）。我們的方法引入了一個統一的、與分布無關的框架，該框架同時實現了對復雜條件分布的準確估計和高效的 UQ。理論上，我們的方法建立在 VBI 框架內對 QR 和 CR 的新穎公式化之上，產生了分析證據下界（ELBO）以簡化訓練，并提供了用于高效推斷的閉式或解析近似的預測密度。經驗上，我們在三個具有多峰標簽分布的大規模回歸基準上評估了我們的方法。我們的框架優于最先進的多峰回歸基線，甚至匹配了計算昂貴的集成模型的預測性能。此外，通過利用認知不確定性估計，我們的方法實現了高度數據高效的主動學習策略。

1 引言

預測不確定性量化（UQ）——即估計模型對其自身預測的置信度的過程——對于高風險應用（如網約車和推薦系統）中的可信機器學習至關重要 [Kendall and Gal, 2017]。UQ 的主流方法之一依賴于變分貝葉斯推斷（VBI）。特別是，限制性地將 VBI 應用于最后一層（例如，變分貝葉斯最后一層，或 VBLL）[Harrison et al., 2024]，由于其與基于昂貴集成學習的更基礎的 UQ 方法相比具有卓越的計算效率而脫穎而出。對于連續回歸問題，該框架內的經典方法是假設條件標簽服從簡單的高斯分布。這種單峰參數假設受到青睞，因為它允許對對數似然損失的證據下界（ELBO）進行數學上簡單的解析推導，從而實現嚴格的 O(1) 每樣本推斷和訓練成本。

然而，在高不確定性的現實世界應用中，條件標簽分布往往偏離簡單的高斯行為，轉而表現出依賴于輸入的、復雜的多模態特性。例如，在視頻推薦系統中，由于用戶參與模式的離散性，經驗發現觀看時間分布具有多模態性，這在 [Zhao et al., 2025] 中進行了詳盡討論。簡單的參數化假設從根本上無法捕捉這種多模態性的全部復雜性。當模型使用假設高斯條件分布的對數似然目標進行訓練時，訓練損失簡化為均方誤差（MSE），迫使模型在真實標簽分布的條件期望處近似擬合一個高斯分布。然而，在以離散簇為特征的多峰分布中，這個期望均值通常位于不同簇之間的“谷值”處，那里的數據條件密度接近于零。我們將此稱為“幽靈值”（Ghost Value）病理：模型擬合的分布其密度峰值位于數據密度較低的區域。因此，模型被迫產生膨脹的預測方差，以維持對實際、遙遠的數據模態的數據覆蓋。這種結構性失效隨后導致嚴重校準錯誤的認知不確定性以及顯著退化的預測質量（例如，圖 1 A）。

為了在此類設置中實現更可靠的 UQ，我們的結構性創新是一個與分布無關的框架，它將 VBI 從簡單的高斯假設推廣到更復雜的半參數方法——具體是分位數回歸（QR）和分類恢復（CR）。我們的方法同時實現了 (1) 在多模態回歸中重建復雜的條件分布，以及 (2) 以解析形式進行高效的 UQ，匹配確定性網絡的 O(1) 訓練和推斷成本。

在經驗上，我們在多樣化、大規模的多模態領域展示了兩個優勢。首先，在標準訓練下，我們的框架在密度估計和分布外（OOD）敏感性方面與最先進的基線相比具有競爭力的性能。其次，我們的解析認知不確定性實現了高度數據高效的主動學習；通過可靠地將認知不確定性與偶然不確定性分離，它在顯著減少標簽的同時實現了更好的預測準確性，同時在大規模上保持計算上的可行性。

1.1 相關工作

不可行。

多模態回歸與密度估計。 混合密度網絡（MDNs）[Bishop, 1994] 對多模態目標進行建模，但受困于優化不穩定性且缺乏解析形式的認知不確定性量化（UQ）。像 CREAD [Sun et al., 2024] 這樣的分布性方法利用分類恢復（Classification Restoration）來繞過幽靈值，但缺乏認知 UQ 和一致性保證。在連續域中，共形分位數回歸（CQR）[Romano et al., 2019] 產生的連續區間在不相交支撐集（disjoint supports）上會失效，且缺乏認知分解。此外，先前的貝葉斯分位數回歸 [Abeywardana and Ramos, 2015, Yang et al., 2016] 依賴于高斯尺度混合表示，需要輔助參數或昂貴的基于蒙特卡洛采樣的近似。

感知不確定性的主動學習。 雖然基于不一致性的貝葉斯主動學習（BALD）[Houlsby et al., 2011, Gal et al., 2017] 是一個主流范式，但將基于采樣的獲取應用于大規模回歸會引入嚴重的計算瓶頸。深度集成（Deep Ensembles）[Lakshminarayanan et al., 2017] 和 MC-Dropout 需要針對每個候選者進行多次隨機前向傳播，導致大規模池評估和重訓練循環停滯——這一問題在批量設置中尤為加劇 [Kirsch et al., 2019]。像 DER [Amini et al., 2020] 這樣的確定性方法提供了的效率，但在不相交數據上會失效；非貝葉斯啟發式方法 [Yoo and Kweon, 2019, Sener and Savarese, 2018] 則將認知無知（epistemic ignorance）與偶然數據噪聲（aleatoric data noise）混淆。

2 問題表述

3 模塊化分布無關框架

我們的框架同時實現了準確的密度估計與高效的不確定性量化（UQ）。在技術層面，它集成了三個模塊化組件：一個距離感知骨干網絡、一個共享的變分貝葉斯推斷引擎，以及針對分位數回歸（QR）或分類恢復（CR）的任務特定輸出頭。

3.1 組件 1：保距骨干網絡

3.3 路徑 A：變分貝葉斯分位數回歸 (QR-VBLL)

因此，期望對數似然可以解析地計算，并且可以用自動微分庫中通常可用的函數來表示。變分后驗和神經網絡權重可以通過該損失函數進行反向傳播訓練。 將公式 (3) 中的解析期望代入變分目標，得到 QR-VBLL 需要最小化的損失函數：

3.4 路徑 B：變分貝葉斯分類恢復 (CR-VBLL)

4 框架屬性與效率

我們提供框架的理論保證。

高效 UQ 我們推導出了不確定性的解析分解，使得單次傳遞推斷成為可能，從而繞過了基于采樣的方法的高昂計算成本。

5 實驗

我們在三個大規模基準測試上評估我們的框架：微信（短視頻推薦）、KuaiRec（短視頻推薦）和 Uber（網約車共享）。如圖 3 所示，這些數據集表現出高度非高斯、多模態的目標分布，標準的基于均方誤差（MSE）的方法在這些分布上容易失效。我們使用粗體字來指示每個方法類別下的最佳性能。

為了確保在離散（CR）和連續（高斯/QR）范式下的方法進行嚴格且公平的比較，我們標準化了評估指標。(1) 離散化 NLL：我們將目標空間劃分為 10 個均勻區間（buckets）。對于連續模型（高斯、QR-VBLL），我們在每個區間上對預測的概率密度函數（PDF）（或累積分布函數 CDF 的差值）進行積分以獲得概率質量。然后，我們計算這些質量相對于離散化真實值的 NLL。(2) 離散化 ECE：同樣地，我們使用這 10 個固定區間計算 ECE，以衡量預測概率質量與目標落入每個區間的實證頻率之間的一致性。(3) CRPS 保持為基于完整 CDF 計算的連續指標。(4) RMSE 是基于預測條件均值和標簽計算的。詳細定義見附錄 D。

由于篇幅限制，微信、KuaiRec 和 Uber 數據集的簡化結果展示在表 2 中，標準差包含在附錄 D 中對應的完整表格（表 7、8 和 9）中。

微信數據集（圖 3a）具有高度離散的目標分布（0.0 對 1.0 的觀看比例）和尖銳的密度峰值。CR-VBLL 在單次傳遞方法中憑借最佳的 NLL 實現了“模態精度”，有效地匹配甚至擊敗了計算昂貴的除 CR-Ensemble 以外的方法。QR-VBLL 在單次傳遞方法中憑借最佳的 CRPS 在全局保真度方面表現出色。

KuaiRec 數據集（圖 3b）表現出更平滑的條件標簽分布且具有重尾特征。雖然 MDN 在單次傳遞方法中實現了最低的 NLL，但這是以犧牲全局保真度為代價的，其產生的 CRPS (0.2117) 高于 QR-VBLL (0.1964)。同時，QR-VBLL 在單次傳遞方法中實現了最佳的 CRPS 和 ECE，在其他數據集上的表現也比 MDN 更一致，甚至在 NLL 和 ECE 上優于計算昂貴的 QR-Ensemble。

Uber 數據集（圖 3c）包含稀疏數據，具有雙模態但連續的目標分布。同樣，QR-VBLL 針對單次傳遞和集成基線給出了令人信服的表現。

此外，在稀疏數據上，CR-VBLL 和 QR-VBLL 都從“安全網”效應中獲得了更大的優勢幅度（如圖 1 B 與 C 的對比）。

5.1 感知不確定性的主動學習

驗證認知信號。 我們驗證了預測的認知方差正確反映了真實的模型無知。如圖 4 所示，微信數據集上的平均認知不確定性在交互歷史極少的冷啟動用戶中最高，并隨著其歷史增加而單調遞減。這證實了我們的架構成功識別了稀疏數據體制下的“已知的未知”，提供了可靠的、膨脹的方差，以防止對代表性不足的用戶做出過度自信的預測。

將不確定性應用于數據獲取。 既然已經確定這種認知信號是忠實可靠的，我們接下來展示如何利用它來解決工業應用中的一個關鍵瓶頸：獲取標注數據的高昂成本。因為我們的框架可靠地將認知無知與固有的偶然噪聲分離開來，從而實現了高效的主動學習。

6 結論

我們引入了首個模塊化、分布無關的框架，以同時實現 (1) 準確的多模態分布估計和 (2) 高效的不確定性量化。我們的框架分支為針對連續形狀的分位數回歸（QR）和針對不相交模態的分類恢復（CR）。關鍵在于，我們提出了用于訓練這兩類模型的無采樣目標，包括針對解析變分 QR 的新穎結果。通過將保距骨干網絡與變分貝葉斯最后一層（VBLL）相結合，我們的架構將經過校準的認知不確定性注入到預測中，且僅需單次前向傳播。我們提供了理論和數值證據，表明我們的框架為可信的多模態回歸提供了穩健且高效的解決方案。

局限性與未來方向。 我們的方法目前依賴于特定于數據集的啟發式方法，用于在 QR/CR 路徑之間進行路由；開發完全自適應、數據驅動的路由模塊是一個關鍵的未來方向。此外，為完整的 VBLL 框架建立緊密的有限樣本誤差界，并擴展到多變量目標，仍然是重要的開放性挑戰。此外，我們目前使用一種相對樸素的方法，通過在變分后驗上進行集成，利用 QR 重建預測 PDF/CDF。開發更有效的重建方法不僅是可能的，而且也是令人感興趣的。

原文鏈接：https://arxiv.org/pdf/2606.25188