高斯過程求解微分方程的統(tǒng)一近似框架

高斯過程求解微分方程的統(tǒng)一近似框架

A unified perspective of Gaussian process approximation for differential equations

https://arxiv.org/pdf/2607.06292

摘要
使用高斯過程近似微分方程的研究迅速擴展，由此產(chǎn)生了一個不斷增長、多樣且碎片化的數(shù)值方法體系。我們提出一個統(tǒng)一的貝葉斯視角，將這些技術置于一個共同的概率框架內(nèi)，其基礎是將微分方程約束納入似然函數(shù)的導數(shù)匹配解釋。該統(tǒng)一視角同時支持參數(shù)估計和解的近似，并展示了如何在這一框架下理解一系列現(xiàn)有方法。本工作旨在整合當前進展，并為未來研究奠定基礎。

關鍵詞：高斯過程，貝葉斯推斷，微分方程，不確定性量化

1 引言
近年來，關于使用高斯過程［22，17，14］近似常微分方程和偏微分方程的研究工作迅速增加，尤其是在新興的科學機器學習領域。這些數(shù)值技術通常利用高斯過程先驗對解函數(shù)進行建模，同時通過微分算子引入物理約束。由此發(fā)展出了廣泛的方法論，包括多種基于高斯過程的偏微分方程近似方法［23，20，21，9，12，19，4，3，16，2］、隱式力模型［31，1］，以及基于高斯過程的參數(shù)估計和系統(tǒng)辨識方法［28，13，29，15］。盡管取得了這些進展，相關文獻卻日益碎片化，不同方法往往在多樣的建模假設和算法框架下呈現(xiàn)。然而，其中許多技術具有共同的底層原理：最顯著的是線性運算下高斯性的保持［22］，以及貝葉斯推斷中微分方程約束的應用［5］。這引出了一個問題：這些看似不同的方法能否在一個統(tǒng)一、連貫的概率框架內(nèi)被理解。

本文旨在提供這樣一個統(tǒng)一的視角。基于高斯過程近似微分方程的貝葉斯表述，我們表明，一大類現(xiàn)有方法都可以被解釋為一個公共概率框架的具體實例。與此同時，圍繞這一主題的方法的快速增長也表明需要進行整合。盡管方法的多樣性在探索不同的建模選擇和表述形式方面具有價值，但厘清它們之間的關系和潛在假設正變得越來越重要。本著這一精神，本文既是一項技術性貢獻，也是一篇教學性概述，旨在綜合現(xiàn)有思想，并為未來的發(fā)展提供一個連貫的基礎。

為使討論形式化，我們考慮如下一般形式的微分方程：

本工作的核心思想是在統(tǒng)一的貝葉斯框架內(nèi)構建微分方程的高斯過程近似。通過對解函數(shù)施加高斯過程先驗，并構造編碼觀測數(shù)據(jù)與微分方程約束的似然項（將其解釋為一種導數(shù)匹配機制），我們得到一個聯(lián)合描述解和未知參數(shù)的后驗分布。隨后，通過適當?shù)脑O定，該框架內(nèi)可以處理不同的推斷目標，正如稍后在兩種典型場景中所展示的那樣。

本文其余部分組織如下。第2節(jié)建立統(tǒng)一的貝葉斯框架，該框架引出了第3節(jié)討論的兩種典型場景：參數(shù)估計和解的近似。第4節(jié)通過將該框架與若干現(xiàn)有方法相關聯(lián)，說明其普遍性。最后，第5節(jié)給出結論。

2 統(tǒng)一的貝葉斯框架

本節(jié)給出用于微分方程高斯過程近似的統(tǒng)一貝葉斯公式，包括先驗、似然和后驗分布的設定。

2.1 先驗

假設解函數(shù) u u服從區(qū)域 D D上的高斯過程先驗分布：

2.2 似然 2.2.1 觀測量與似然函數(shù)

同時考慮這兩類觀測量的似然函數(shù)給出如下：

2.3 后驗

貝葉斯定理給出

至此完成了貝葉斯公式的構建，將先驗、似然和后驗匯集于一個統(tǒng)一框架之中，這為下一節(jié)討論兩種典型場景奠定了基礎。此外，整個推斷框架的概率結構如圖1所示。

3 兩種典型場景

基于第2節(jié)建立的統(tǒng)一貝葉斯框架，我們考慮高斯過程近似微分方程中出現(xiàn)的兩種典型場景，分別對應參數(shù)估計和解的近似。

3.1 場景一：參數(shù)估計

3.2 場景二：通過高斯過程回歸求解方程

這兩種場景展示了統(tǒng)一的貝葉斯公式如何適應不同的推斷目標——即參數(shù)估計和方程求解——同時依賴于相同的底層概率結構，僅在推斷和邊緣化的執(zhí)行方式上有所區(qū)別。

4 普遍性

本文建立的統(tǒng)一貝葉斯公式具有足夠的普遍性，能夠涵蓋現(xiàn)有高斯過程近似微分方程的大量方法。特別地，許多利用線性微分算子下高斯性保持性質的方法，均可解釋為第2節(jié)所引入框架的特殊情形。本節(jié)通過重新審視幾類代表性方法，并展示它們?nèi)绾卧谕桓怕式Y構中被理解，來說明這種普遍性。

物理信息高斯過程
一大類方法，通常稱為物理信息高斯過程［23，20，21，19，25，2，30，10］，通過將線性微分算子直接作用于核函數(shù)，將微分方程約束納入高斯過程模型中。這種核變換依賴于高斯過程在線性運算下封閉的性質。從第2節(jié)建立的統(tǒng)一貝葉斯公式的角度來看，這些方法可理解為似然構造的實例，其中作用于解的微分算子的觀測通過變量 R 納入。特別地，使用算子變換后的核函數(shù)對應于對解及其導數(shù)的聯(lián)合分布進行建模，而微分方程的施加則通過“內(nèi)力” R 與外強迫項之間的匹配條件來實現(xiàn)。

許多現(xiàn)有工作遵循這一總體范式，包括正問題和反問題的方法。根據(jù)推斷目標的不同，這些方法可在第3節(jié)介紹的兩種場景中加以解釋。對于正問題［23，20，21，19，10］，它們通常歸結為同時具有狀態(tài)觀測和導數(shù)觀測的高斯過程回歸，對應于場景二。對于反問題和參數(shù)估計［20，2，30］，它們對應于場景一，即在將解視為隱變量的同時推斷未知參數(shù)。

特別地，文獻［20］將參數(shù)估計表述為基于算子變換核函數(shù)的高斯過程模型的最大邊緣似然問題，通過經(jīng)驗貝葉斯給出點估計。而本文提出的統(tǒng)一貝葉斯框架則允許完全概率化的處理，并對參數(shù)和解均提供一致的不確定性量化。此外，近期發(fā)展將高斯過程與深度學習相結合，在保持算子變換核結構的同時提高了可擴展性和非線性表達能力［25，26，27］。

隱式力模型
隱式力模型［31，1］采用另一種觀點，其中解通過逆微分算子的作用（通常通過格林函數(shù)表示）來表達：

經(jīng)過這些修改，統(tǒng)一貝葉斯公式和兩種典型場景仍然適用。主要區(qū)別在于算子變換后的核項，它們現(xiàn)在具有如下形式：

5 結論

本文提出了高斯過程近似微分方程的統(tǒng)一貝葉斯視角。兩種典型場景——即參數(shù)估計和解的近似——被證明自然產(chǎn)生于此框架中，并且一系列現(xiàn)有相關方法均可在此框架內(nèi)加以解釋。更廣泛地說，這一統(tǒng)一視角有助于對該領域快速增長的文獻進行必要的整合。通過闡明共同的結構、聯(lián)系和關系，它為基于高斯過程的微分方程數(shù)據(jù)驅動方法的更系統(tǒng)化發(fā)展提供了基礎。

展望未來，一個主要挑戰(zhàn)是維數(shù)災難，這仍然是高斯過程應用于高維偏微分方程時的根本局限。解決這一問題可能需要對高斯過程與深度學習進行有效整合，并發(fā)展統(tǒng)計學習和數(shù)值分析中相應的理論基礎。

原文鏈接：https://arxiv.org/pdf/2607.06292