通過評分匹配實現(xiàn)貝葉斯實驗設(shè)計

Bayesian Experimental Design via Score Matching

通過評分匹配實現(xiàn)貝葉斯實驗設(shè)計

https://arxiv.org/pdf/2607.08335

摘要

基于策略的貝葉斯實驗設(shè)計（BED）方法能夠?qū)W習(xí)深度策略網(wǎng)絡(luò)，使其根據(jù)先前收集的數(shù)據(jù)自適應(yīng)地做出智能的設(shè)計決策。然而，此類策略的訓(xùn)練往往受到一個根本性挑戰(zhàn)的阻礙：期望信息增益（EIG）的雙重難解性。這迫使人們采用計算昂貴或復(fù)雜的近似方法，從而限制了在優(yōu)化策略本身時所能投入的精力。為解決這一問題，我們證明，可以通過首先求解一個獨立于所用策略的得分匹配問題，然后利用學(xué)習(xí)到的得分近似以單重難解的方式訓(xùn)練策略，從而將EIG的雙重難解性與策略學(xué)習(xí)隔離開來。這將關(guān)鍵的乘性代價轉(zhuǎn)化為加性代價，并減輕了策略訓(xùn)練本身的計算負(fù)擔(dān)，使得在需要時（例如進行架構(gòu)搜索、超參數(shù)調(diào)優(yōu)或避免陷入局部最優(yōu)時）多次訓(xùn)練策略的成本大幅降低。在我們的實驗中，我們訓(xùn)練了多個具有競爭力的策略，且不會在似然評估中引發(fā)乘性代價，這使得我們能夠通過選擇最佳策略來提升性能，即使不進行超參數(shù)或架構(gòu)搜索也能實現(xiàn)。

1 引言

實驗的最優(yōu)設(shè)計對于在任何領(lǐng)域開展信息量大且具成本效益的科學(xué)實驗至關(guān)重要。貝葉斯實驗設(shè)計（BED）提供了一種基于貝葉斯決策理論的、具有理論原則的實驗設(shè)計選擇方法，并已在物理學(xué)、心理學(xué)、量子計算、機器學(xué)習(xí)等廣泛領(lǐng)域取得了成功應(yīng)用。通常，BED通過最大化實驗的期望信息增益（EIG）來實現(xiàn)，其中信息增益定義為對某些感興趣目標(biāo)量的先驗信念到后驗信念之間香農(nóng)熵的減少量，而期望則是針對我們可能觀測到的所有可能數(shù)據(jù)取的。

在許多應(yīng)用中，實時提出下一步設(shè)計方案的能力尤為重要，例如與人類受試者開展實時調(diào)查，或通過控制實時動態(tài)系統(tǒng)來進行學(xué)習(xí)。遺憾的是，這在實際操作中往往十分困難，因為EIG是一個雙重難解的量，優(yōu)化起來極具挑戰(zhàn)性，同時迭代間需要反復(fù)進行推斷也會帶來問題?；诓呗缘腂ED提供了克服這一難題的最可行途徑，它將自適應(yīng)設(shè)計決策分?jǐn)偟揭粋€預(yù)訓(xùn)練的策略中，該策略只需單次前向傳播即可部署。

然而，優(yōu)化雙重難解目標(biāo)的問題隨之轉(zhuǎn)移到了策略訓(xùn)練本身，且由于策略學(xué)習(xí)的復(fù)雜性，挑戰(zhàn)實際上可能會加劇，這往往構(gòu)成比單純優(yōu)化設(shè)計方案困難得多的優(yōu)化問題。此外，用于規(guī)避雙重難解性的變分方法往往難以應(yīng)用，因為在高維設(shè)定下學(xué)習(xí)準(zhǔn)確的變分分布十分困難。因此，現(xiàn)有方法通常只能退而求其次，采用EIG梯度的嵌套采樣或?qū)Ρ炔蓸?，從而不得不承受由此帶來的巨大計算成本?/p>

為解決這一問題，我們證明了可以將EIG的雙重難解性與策略訓(xùn)練解耦，其利用的事實是：信息增益本身僅通過所選的設(shè)計方案依賴于策略，而不直接依賴于策略參數(shù)本身。具體而言，我們推導(dǎo)了EIG梯度的一種重參數(shù)化形式，其中雙重難解性被隔離在兩個不直接依賴于策略的項中：即在給定完整設(shè)計展開情況下的邊緣似然的Stein得分與Fisher得分。隨后，我們以此為基礎(chǔ)引入了一種用于BED的得分匹配方法，我們將其命名為SCOREBED。SCOREBED首先學(xué)習(xí)一個單一網(wǎng)絡(luò)，利用我們稱為邊緣得分匹配的目標(biāo)函數(shù)來同時近似這兩個得分，然后將學(xué)到的得分網(wǎng)絡(luò)代入我們的重參數(shù)化EIG梯度中，從而得到一個單重難解的估計量，可用于通過隨機梯度下降來訓(xùn)練策略。

我們這種兩階段設(shè)置的一個關(guān)鍵優(yōu)勢在于，它將嵌套采樣過程通常產(chǎn)生的乘性成本，轉(zhuǎn)化為了兩個單重難解問題的加性成本，從而使得無需昂貴嵌套采樣的基于梯度的策略訓(xùn)練成為可能。關(guān)鍵在于，我們學(xué)到的近似完全獨立于任何策略，因此同一個預(yù)先計算的近似結(jié)果可以被反復(fù)重用，從而對任意數(shù)量的策略實現(xiàn)樣本高效且可擴展的訓(xùn)練。這為策略訓(xùn)練帶來了巨大的益處，使得更低成本的超參數(shù)和架構(gòu)搜索、更長時間的策略訓(xùn)練，或為避免陷入局部最優(yōu)而進行的多次重訓(xùn)練成為可能，鑒于策略訓(xùn)練的困難性，這些在實際應(yīng)用中均至關(guān)重要。

在實驗中我們發(fā)現(xiàn)，在總計算預(yù)算相同的情況下，與那些同時處理EIG雙重難解性和策略訓(xùn)練的現(xiàn)有方法相比，SCOREBED能夠提供極具競爭力的性能。此外，由于SCOREBED中僅有極小比例的預(yù)算用于策略訓(xùn)練本身，它可以低成本地訓(xùn)練多個此類具有競爭力的策略，從而為更精細、計算更密集的策略訓(xùn)練方案鋪平了道路。

2 背景

在這兩種情況下，顯而易見該目標(biāo)是雙重難解的，因為它涉及對后驗分布或邊緣分布的評估，而這些分布以非線性形式出現(xiàn)在外層期望之內(nèi)。

Foster 等人（2020）引入了先驗對比估計（PCE）界，該界為 EIG 提供了一個下界。該界利用來自先驗的 M M 個對比樣本來近似難解的邊緣分布：

與普通的嵌套蒙特卡洛（NMC）相比，在對難解邊緣分布的估計中包含降低了估計的方差。PCE 估計器可以利用重參數(shù)化技巧（Kingma 和 Welling，2013）或 REINFORCE 梯度估計器（Williams，1992）進行微分，從而允許基于梯度的優(yōu)化。

3 方法

我們在下一節(jié)中貢獻了三個重要的觀察結(jié)果和結(jié)論，這些最終促成了我們用于策略 EIG 優(yōu)化的基于得分的方法。首先，我們觀察到信息增益從根本上獨立于觀測數(shù)據(jù)是如何收集的，因此用于處理雙重難解性的近似不一定必須依賴于策略。其次，我們推導(dǎo)了一個精確的 EIG 梯度表達式，該表達式展示了雙重難解性的確切來源，我們的目標(biāo)是以一種與策略脫鉤的方式來解決它。第三，我們展示了如何通過在特定的得分匹配損失上訓(xùn)練的得分網(wǎng)絡(luò)來自然地近似這些難解項。

結(jié)合這些事實，我們提出了 SCOREBED 方法，在該方法中，我們首先預(yù)先學(xué)習(xí) EIG 梯度的一個準(zhǔn)確且計算高效的近似，然后使用這個學(xué)到的近似來訓(xùn)練策略。這將計算上具有挑戰(zhàn)性的、雙重難解的 EIG 目標(biāo)轉(zhuǎn)化為了兩個連續(xù)的單重難解問題。這種分離的重要性在于，它可以通過用加性成本（訓(xùn)練得分網(wǎng)絡(luò)的成本加上由此產(chǎn)生的單重難解策略訓(xùn)練的成本）替換乘性成本（訓(xùn)練步數(shù)乘以內(nèi)層樣本數(shù)）來提供顯著的計算優(yōu)勢。通過大幅減輕整體過程中策略訓(xùn)練部分的負(fù)擔(dān)，這為執(zhí)行架構(gòu)調(diào)整、超參數(shù)調(diào)優(yōu)，甚至多次重新訓(xùn)練以獲得一個良好的策略網(wǎng)絡(luò)提供了空間（Rainforth 等，2024）。過去，這需要重復(fù)整個完整過程的所有計算；而對于我們的得分匹配方法，它只需要重復(fù)現(xiàn)在單重難解的策略訓(xùn)練，從而提供了巨大的收益。如果似然評估成本高昂，這一點尤為重要，并且隨著我們所處理的問題需要更復(fù)雜的策略和訓(xùn)練機制，預(yù)計其益處將日益增加（Blau 等，2022）。

為此，我們提出了一個精確的 EIG 梯度表達式，該表達式明確指出了其中確切存在的嵌套難解項，并展示了策略參數(shù) ? ? 是如何獨立于這些難解項進入該表達式的。

此外，定理 1 從分析上表明，在靜態(tài)設(shè)計的情況下，F(xiàn)isher 得分項會消失。這一結(jié)果在此情況下降低了我們梯度近似的偏差和方差，并且在不使用我們基于得分的方法時，也可用于改進 EIG 梯度估計。

這一恒等式已被 Ao 和 Li (2024) 以及 Brehmer 等人 (2020) 視為蒙特卡洛得分近似的基礎(chǔ)，但尚未被用于訓(xùn)練得分網(wǎng)絡(luò)。這啟發(fā)了以下的回歸目標(biāo)，我們將其稱為邊緣得分匹配（MSM）：

4 相關(guān)工作

BED 文獻的主體一直圍繞著估計或界定 EIG 本身，例如對比估計（Foster 等，2021）和變分方法（參見例如 Rainforth 等（2024）及其中的參考文獻）。一些最近的工作進一步探索了直接的 EIG 梯度估計。Goda 等（2022）引入了一種基于多層蒙特卡洛（Rhee 和 Glynn，2015）的 EIG 梯度無偏估計，它在有限樣本中起到去偏方案的作用，但代價是增加了方差。Ao 和 Li（2024）也使用類似于公式 (3) 和公式 (5) 的表達式直接針對 EIG 梯度。與我們的分?jǐn)偡椒ㄏ喾?，他們使?MCMC 對后驗進行采樣并通過蒙特卡洛估計公式 (5)，導(dǎo)致在訓(xùn)練策略時每次梯度更新的成本很高，并且在高參數(shù)維度下樣本復(fù)雜度較差。最后一種直接的 EIG 梯度方法是 Iollo 等（2025），他們使用采樣作為優(yōu)化將嵌套采樣問題整合到單個循環(huán)中，盡管他們沒有訓(xùn)練策略。

Huang 等（2026a）的并行工作也降低了策略訓(xùn)練的成本，利用獨立于任何策略預(yù)訓(xùn)練的基礎(chǔ)模型中的信念表示，從而免除了策略訓(xùn)練學(xué)習(xí)表示的負(fù)擔(dān)。他們使用 PCE 近似 EIG，因此他們的成本節(jié)約與我們的互補。最后，Ivanova 等（2021）；Kleinegesse 和 Gutmann（2020）對隱式模型采取分?jǐn)偡椒ǎ褂门袆e器構(gòu)建界定互信息的函數(shù)近似，而 Hedman 等（2025）考慮在實驗期間定期重新訓(xùn)練策略。我們還注意到與隱式模型梯度估計器的聯(lián)系，特別是 Song 等（2019）提出的利用得分匹配的那些。其中一項工作是 Lim 等（2020），他們使用去噪自編碼器（Vincent，2011）近似隱式分布的梯度。替代的熵梯度估計技術(shù)也可以從 Stein 恒等式推導(dǎo)出來（Li 和 Turner，2018；Shi 等，2018；Wen 等，2021）。

5 實驗

我們在一系列常見的實驗設(shè)計任務(wù)上，針對多個具有競爭力的基線方法，對 SCOREBED 進行了經(jīng)驗驗證。在每個任務(wù)中，我們使用 SCOREBED 和基線方法訓(xùn)練自適應(yīng)設(shè)計策略，并報告最終策略所達到的期望信息增益（EIG）的上界和下界。我們的實驗涵蓋了具有不同特性的任務(wù)，包括非馬爾可夫似然和高維參數(shù)空間。我們在接下來的章節(jié)中展示了四個 BED 任務(wù)，并在附錄 E.2 中包含了一個額外任務(wù)。完整的實驗細節(jié)包含在附錄 D 中。

流程。 為了確保公平比較，每個任務(wù)在所有方法間都設(shè)定了相同的固定計算預(yù)算，該預(yù)算通過允許的似然評估次數(shù)（NLE）來指定。對于每種方法，我們通過兩種不同的流程獲得最終策略網(wǎng)絡(luò)。首先，我們訓(xùn)練單個策略網(wǎng)絡(luò)，并報告其達到的 EIG 界，標(biāo)準(zhǔn)誤差反映了單個策略訓(xùn)練多次重新運行的波動。其次，我們考慮訓(xùn)練策略網(wǎng)絡(luò)的 P 次重啟（重新訓(xùn)練），并報告 P 個候選策略中表現(xiàn)最佳策略的 EIG 界（在預(yù)留測試集上評估），標(biāo)準(zhǔn)誤差反映了“P 選最佳”流程多次重新運行的變化。調(diào)整每個基線的配置，以便在相同的總 NLE 預(yù)算下訓(xùn)練 P 個策略。我們的兩階段方法意味著訓(xùn)練多個策略可以低成本完成，因此得分訓(xùn)練預(yù)算僅適度減少以適應(yīng)增加的 P。另一方面，未對 EIG 的難解性進行分?jǐn)偟姆椒ū仨毎幢壤龑⒚總€策略的預(yù)算減少至 1/P。在實踐中，訓(xùn)練 P 個策略允許進行架構(gòu)搜索和超參數(shù)調(diào)優(yōu)以提升性能，但我們在此采用固定的策略配置，以在一致的策略訓(xùn)練任務(wù)上獨立評估每種方法的質(zhì)量。

基線方法。 我們將 SCOREBED 與多個成熟的 BED 基線方法進行比較，這些方法涵蓋了對比采樣和變分方法。首先，我們與 PCE（Foster 等，2021）進行比較。在某些情況下，我們還包含 PCE*，它使用了預(yù)算大 10 倍的 PCE 變體，因為相關(guān)工作有時會考慮比我們原始預(yù)算更大的 M。其次，我們與 Foster 等人（2019）變分方法的兩種預(yù)訓(xùn)練策略擴展進行比較：變分邊緣分布（VarMarg）和變分后驗分布（VarPost）。我們預(yù)先訓(xùn)練難解邊緣分布和后驗分布的變分近似，然后使用這些固定近似來訓(xùn)練策略（分別產(chǎn)生 EIG 的上界和下界）。我們強調(diào)，這些方法目前在文獻中并未出現(xiàn)，因為變分方法通常與策略網(wǎng)絡(luò)聯(lián)合訓(xùn)練。最后，我們與 Foster 等人（2020）的聯(lián)合訓(xùn)練變分后驗方法（JointVarPost）進行比較，該方法通過最大化 EIG 的 Barber-Agakov 下界，將策略與變分近似聯(lián)合訓(xùn)練。在動力系統(tǒng)任務(wù)上，我們還包含了 IO-SMC2（Iqbal 等，2024）。VarMarg 和 VarPost 代表了兩階段方法，它們與 SCOREBED 類似，可以在多個策略間共享計算，而 PCE、JointVarPost 和 IO-SMC2 必須為每個策略重復(fù)所有計算。每個基線的詳細信息包含在附錄 D.5 中。我們還測試了 MLMC（Goda 等，2022），但發(fā)現(xiàn)其實際時鐘成本（wall-clock cost）過高且結(jié)果缺乏競爭力，詳見附錄 E.1。

每種方法的精確 NLE 成本在附錄 D.7 中進行了計算，各基線方法為嚴(yán)格遵守該精確預(yù)算而采用的配置細節(jié)則在附錄 D.8 中予以詳述。為了在保持總預(yù)算不變的前提下適應(yīng)不同數(shù)量的策略 P P，我們分別調(diào)整了 SCOREBED、VarMarg 和 VarPost 的前期訓(xùn)練預(yù)算、JointVarPost 的總訓(xùn)練預(yù)算，以及 PCE 和 IO-SMC2 的內(nèi)層樣本數(shù)和粒子數(shù)。

5.1 源定位

5.2 動力系統(tǒng)

5.3 策略梯度偏差

此外，我們在所有實驗中發(fā)現(xiàn)梯度偏差與下游 EIG 之間存在明顯的相關(guān)性，如圖 3 所示。較高的梯度偏差會破壞策略訓(xùn)練，導(dǎo)致最終策略性能不佳。這揭示了梯度偏差是任何策略訓(xùn)練方法論成功的關(guān)鍵決定因素。對于 SCOREBED，偏差對應(yīng)于評分網(wǎng)絡(luò)的近似和估計誤差，這些誤差通?？梢酝ㄟ^更好的訓(xùn)練和網(wǎng)絡(luò)容量來減少；而 PCE 和嵌套采樣方法則因有限的樣本量而引入偏差。這證實了這些方法是具有不同屬性的獨特方法，每種方法可能在各自的場景中具有優(yōu)勢。

6 結(jié)論

我們將基于策略的 BED（貝葉斯實驗設(shè)計）問題中雙重難處理（doubly intractable）的 EIG 梯度轉(zhuǎn)化為兩個可以順序解決的單一難處理問題：首先是針對難處理邊緣分布的評分匹配問題，隨后是利用學(xué)習(xí)到的評分網(wǎng)絡(luò)進行策略訓(xùn)練。這種 SCOREBED 方法通過預(yù)先解決雙重難處理性，使得基于梯度的策略訓(xùn)練顯著更加廉價，從而我們可以輕松地在給定問題上重復(fù)訓(xùn)練多個策略。這有利于策略訓(xùn)練，例如，允許進行架構(gòu)和超參數(shù)搜索并避免局部最優(yōu)。我們的結(jié)果表明，SCOREBED 實現(xiàn)了與現(xiàn)有方法（不允許廉價策略重訓(xùn)練）以及新提出的替代方案（預(yù)先訓(xùn)練固定的攤銷后驗網(wǎng)絡(luò)）具有競爭力的性能。

原文鏈接：https://arxiv.org/pdf/2607.08335