開放線性系統的范疇論處理

A CATEGORICAL TREATMENT OF OPEN LINEAR SYSTEMS

開放線性系統的范疇論處理

https://lmcs.episciences.org/16126/pdf

摘要

按照揚·威廉斯（Jan Willems）思想構建的開放隨機系統，是受到兩種性質截然不同的不確定性影響的系統——一種是概率性漲落，另一種則是由根本性的信息缺失所導致的非確定性。我們以范疇論的語言對開放隨機系統進行形式化表述。其中的核心概念是共偏性（copartiality），它刻畫了信息缺失在系統中的傳播方式（對應于威廉斯著作中σ-代數的粗糙性）。

作為一個具體實例，我們研究了擴展高斯分布，它將高斯概率與非確定性相結合，并精確對應于威廉斯提出的高斯線性系統概念。我們既從測度論角度，也從抽象范疇論實體的角度對其加以描述，從而能夠嚴謹地刻畫多種現象，例如含噪物理定律以及貝葉斯統計中的無信息先驗。擴展高斯映射構成的范疇可被視為高斯概率與線性關系的相互推廣，它將范疇概率的相關文獻與控制理論中的信號流圖等思想聯系起來。

1. 引言

在計算機科學與工程中對系統行為進行建模時，我們會遇到不同種類的不確定性：

范疇論已成為研究系統及其組合的統一語言。特別是馬爾可夫范疇（Markov categories）[Fri20] 對應于不確定性和信息流的理論，并已應用于多種場景 [FGP21, FR20, FGPR20]。在本文中，我們將用馬爾可夫范疇對這三種不確定性進行數學分析。雖然概率性和非確定性不確定性的語義已廣為人知，但我們基于等價關系提出的信息缺失模型則是新穎的。我們提出了共偏映射（copartial map）的概念，它在形式上與偏映射（partial maps）相對偶。一般而言，共偏性和非確定性具有不同的組合規則（第4.1節），但我們將看到，在線性關系的情形下，這些概念是重合的（命題4.5）。

因此，我們的主要目標變為對處于多種不確定性下的系統進行建模。實例可以包括既服從關系約束又具有概率噪聲的物理系統，或者統計推斷中的非正常先驗（improper priors）。

已有大量文獻致力于將概率和非確定性的數學理論結合為一個單一且性質良好的理論（例如 [BSV20, DPS18, Che17, GP20, VW06]）。這類方法通常圍繞將相關理論表示為單子（monads），然后以合適的方式（例如使用分配律）將這些單子結合起來展開。然而，已有研究表明，在分布單子（概率）與冪集單子（非確定性）的情況下，不存在這樣的分配律 [VW06, ZM19]。雖然存在一種結合這些單子的弱分配律 [GP20]，但其結果是一個由分布的凸子集構成的復合單子，不再具備某些理想性質（如交換性）。這一領域有時被稱為不精確概率（imprecise probability），并且仍然是一個活躍的研究領域（例如 [LCS25]）。

在本工作中，我們脫離了單子方法，轉而專注于結合概率與信息缺失型不確定性。威廉斯的開放隨機系統（open stochastic systems）[Wil13] 已經 formulated 了一個涵蓋這兩種不確定性形式的框架。我們將回顧這些內容，進而致力于對該問題進行范疇論處理。

因此，在 Willems 的方法中，信息缺失是通過粗糙 σ σ-代數來建模的。每當 σ σ-代數包含所有博雷爾集，從而提供對底層量的完全訪問時，他稱之為封閉系統（closed system）。而在開放系統（open system）中， σ σ-代數較小，表明可用信息的缺乏。

來自自然定律的方程約束并非開放系統的唯一應用。另一個用例出現在統計推斷中的無信息先驗（uninformative priors）中：

例 1.2（無信息先驗）。 統計推斷中的一個典型情況是，我們試圖預測一個量 X X，但只能訪問另一個與 X X 有統計關聯的量 Y Y（例如一個含噪測量值，見圖 2）。根據貝葉斯定律（Bayes' law），我們對 X X 的預測應當考慮到我們要關于 X X 的先驗知識

組合性（Compositionality）。 組合性是研究如何將系統從更簡單的部分組合起來的學科。Willems 本人憑借其具有影響力的控制論行為方法（Behavioral Approach）[Wil07] 開創了這一領域。他提出，理解復雜系統應當通過將其“拆解”（tearing）為更簡單的部分，“聚焦”（zooming）于這些部分并建模其行為，然后通過“鏈接”（linking）它們的行為來獲得組合后的整體行為。幺半范疇論（Monoidal category theory）是一種廣泛用于描述組合過程的語言，已被應用于數學、計算機科學、統計學、物理學和工程學中的眾多場景（例如 [Fon12, Fri20, BE15, BCR18, BSZ14]）。如需一般性概述，可參見例如 [FS19b]。

Willems 的組合方法與范疇論語言非常契合。例如，Willems 關于關系約束的工作的某些方面已在 [FSR16] 中被范疇化。我們希望將這種方法擴展到具有關系約束和隨機約束的系統，如含噪電阻。然而，我們遇到了兩個直接的困難：

例如，含噪電阻可以用擴展高斯分布來描述

1.1. 貢獻。 我們回答以下問題：如何用范疇論來捕捉 Willems 的開放隨機系統框架，以及他的互連概念如何與范疇組合相協調？

我們通過定義一個擴展高斯映射的范疇 GaussEx 來證明這一點，該范疇忠實地結合了高斯概率與非確定性。GaussEx 的狀態精確對應于 Willems 的高斯線性系統。我們既用測度論術語描述這些實體，也通過遵循特定組合律的抽象實體（不依賴測度論）來描述它們。

我們引入共偏性（copartiality）作為一種通過商空間映射來形式化信息缺失的方法。對于線性映射，共偏性與關系非確定性是重合的，這使我們能夠將 GaussEx 視為高斯概率與線性關系的相互推廣。然后，我們回到 Willems 的測度論方法，并證明范疇組合與他的互連概念是一致的（定理 5.6）。

注：本文基于我們的 CALCO 論文 [SS23a]，我們在該文中首次引入了擴展高斯分布。在這篇受邀期刊投稿中，我們以更詳細的細節擴展了之前的工作，并將其置于更廣泛的背景中。特別是，我們重寫了推導過程，使其在遵循 Willems 的測度論定義的同時，也遵循我們的范疇論定義。這使我們能夠證明一個新定理，即這些定義在定理 5.6 中是一致的。我們還在第 4.1 節給出了關于共偏性的獨立介紹，并在第 6.2 節詳細闡述了商空間和系統等價的處理。自 [SS23a] 發表以來，兩篇后續出版物 [SS23b, SZPS24] 建立了擴展高斯分布與凸優化之間的聯系。我們在第 6 節詳細闡述了這些聯系，但在那之前保持本工作的自包含性。

1.2. 大綱。 在第 2 節中，我們回顧測度論和高斯概率的基礎知識，然后在第 2.2 節定義高斯線性系統/擴展高斯分布。

在第 3 節中，我們討論幺半范疇論中的相關概念，特別是馬爾可夫范疇，并給出建模關系非確定性（3.1）、測度論概率（3.2）和高斯概率（3.3）的示例范疇。

第 4 節介紹了我們的主要新定義，即馬爾可夫范疇 GaussEx。我們首先介紹共偏性（4.1）及其與線性關系的關系（4.2），然后使用裝飾余跨度（decorated cospan）構造定義 GaussEx（4.3）。

在第 5 節中，我們將我們的范疇組合概念與 Willems 的互補系統互連概念聯系起來。我們的主要定理 5.6 表明這兩者是一致的。本節以 5.3 結束，解釋如何將互聯推廣到互補系統之外。

在第 6 節中，我們就擴展高斯分布及我們構造的細節提供更廣泛的背景。6.2 涉及系統等價問題以及粗糙 σ σ-代數與商空間之間的關系，而 6.3 和 6.4 討論了關于擴展高斯分布對偶理論及其完整公理化的近期工作。最后，我們在 6.5 節展示了作為 Julia 庫的概念驗證實現。

2. 開放隨機系統

在本節中，我們介紹 Willems 意義下的高斯線性系統，以及我們對它們的抽象描述，即擴展高斯分布。我們首先簡要回顧概率的測度論基礎。標準參考文獻請見 [Kal97]。

2.1. 高斯分布。 本文關注的概率分布類是高斯分布（Gaussian distributions），也稱為多元正態分布。 R R 上的一元高斯分布具有如下形式

此時，尚不清楚這些規則是否遵循預期的定律，或者它們甚至是否是良定義的。我們將在命題 4.9 中通過構造一個擴展高斯映射的范疇 GaussEx 來肯定地回答這個問題，其中擴展高斯分布對應于狀態。該范疇將是一個馬爾可夫范疇（Markov category），這是概率論范疇模型含義的一種常見公理化方式。此外，GaussEx 忠實地包含了高斯分布和線性關系，表明擴展高斯分布的組合規則保守地推廣了這兩個示例。

3. 范疇概率概述

它們以特殊的交換弗羅貝尼烏斯代數（commutative Frobenius algebra）的方式與復制和刪除操作相互作用。我們不在這里列出公理，請參考 [FS19a] 作為參考文獻。

在超圖范疇中，態射的方向性并不具有本質重要性：每個超圖范疇都等價于其對偶范疇。另一方面，在馬爾可夫范疇（Markov category）中，方向性是重要的，信息僅沿一個方向傳播。這通過要求“丟棄計算輸出等同于根本不執行該計算”來進行公理化。

馬爾可夫范疇作為信息流的抽象理論已取得巨大成功。它們被用于建模各種與不確定性相關的效應，特別是概率性和非確定性計算 [Fri20]，以及新名稱生成（fresh name generation）[FGHL?23]。我們現在回顧相關示例，然后為信息缺失和擴展高斯計算定義一個新的馬爾可夫范疇。

3.2. 概率通道（Probability channels）。 我們現在利用馬爾可夫核（Markov kernel）的概念將測度論概率轉化為一個馬爾可夫范疇，其本質上是參數化的概率測度。

命題 3.10 [Fri20]。Gauss 是 Stoch 的一個子范疇。

直觀地說，高斯分布在線性映射下是封閉的，并且高斯噪聲在加法下也是封閉的。因此，我們可以將 Gauss 視為概率通道范疇 Stoch 的子范疇。然而，值得注意的是，Gauss 本身具有比從 Stoch 繼承的更豐富的結構；特別是，它是一個超圖范疇，而 Stoch 不是。這是因為線性關系可以被視為確定性高斯映射，從而允許信息雙向流動。我們將在第 4.2 節詳細闡述這一點。

4. 擴展高斯映射的馬爾可夫范疇

我們現在定義一個結合了高斯概率與線性關系的馬爾可夫范疇 GaussEx。我們首先引入共偏性（copartiality）作為建模信息缺失的一種方式，然后將其與高斯概率相結合。

4.3. 擴展高斯映射（Extended Gaussian maps）。 為了將擴展高斯映射定義為形式對象，我們將線性關系的余跨度方法與高斯分布相結合。為此，我們采用裝飾余跨度（decorated cospan）的概念 [Fon15, Fon17]。

4.4. 示例：弦圖（String Diagrams）。 我們給出一個利用 GaussEx 的范疇結構從簡單構建塊創建分布的示例。弦圖語言使我們能夠以直觀的方式可視化這種互連。

5. 互聯（Interconnection）

在討論了作為抽象范疇實體的擴展高斯映射之后，我們現在將內容聯系回 Willems 關于組合的測度論方法。

我們已經看到，擴展高斯分布的卷積（加法）會增加它們的纖維，即增加不確定性。Willems 稱之為互連（interconnection）的操作是這一過程的對偶操作，它會減少不確定性，即細化 σ σ-代數。我們通過一個例子來證明這一點：再次考慮含噪電阻

從統計學術語來看，這種連接操作應當表示對隨機變量的條件化（conditioning）。但在范疇論設定中，條件化是一個眾所周知的難題，例如已在 [SS21, LR23] 中被探討過。態射 ? ?? ?? ? ?? 是超圖范疇結構的一部分，但通常不被像 GaussEx 這樣的馬爾可夫范疇所支持。

在 [Wil13] 中，Willems 討論了高斯系統互連的一個特例，其中各組件系統提供的信息在某種意義上是互補的（complementary），因此可以在不需要條件化的情況下進行互連。我們回顧這種互補互連的概念，并證明它與擴展高斯映射的范疇組合是一致的。隨后，我們將在第 5.3 節回到通過條件化實現一般非互補互連的問題。

5.1. 互補性（Complementarity）

注意虛線框中弱化的命名系統，以及它們使用 ? ?? ?? ? ?? 進行的互連。GaussEx不是一個超圖范疇，但如果我們檢查（如定理 5.6 所示）相關的互補性條件成立，我們仍然可以手動互連系統。

有趣的是，我們對名稱的使用讓人聯想到 [Smi24] 中復制組合（copy-composition）的使用，即耦合（couplings）和條件積（conditional products）的組合（歸功于 [DS99]，另見 [Fri20, 第12節], [FF13]）。最后，我們對非互補互聯給出展望。

6. 相關工作與更廣泛的背景

在本節中，我們為我們的構造提供一些更廣泛的理論背景。在 6.1 節中，我們簡要概述了概率的范疇論方法。在 6.2 節中，我們系統地探討了粗糙 σ σ-代數的作用以及系統等價性問題。

6.3 和 6.4 節展示了來自近期后續工作 [SS23b, SZPS24] 的關于擴展高斯分布的不同視角。這些包括涉及凸分析和二次函數的對偶性考量，以及以圖形線性代數（Graphical Linear Algebra）風格對范疇 GaussEx 進行的代數表述。我們在 6.5 節通過討論一個原型實現來結束本節。

6.1. 概率論的范疇模型。 馬爾可夫范疇（以及相關形式化方法，如復制-刪除范疇和超圖范疇）是對“作為概率論的范疇模型意味著什么”的一種廣泛使用的公理化方式。它們專注于隨機計算的幺半結構（并行與順序組合、相關性與獨立性）。我們在這里使用馬爾可夫范疇的語言，是因為我們的擴展高斯態射概念展現了這種結構并滿足相關公理。這類范疇模型也與概率編程語言的按值調用（call-by-value）語義非常契合 [Sta17, Ste21b]。

還有其他針對范疇概率的方法，其目標各不相同。我們給出一個簡要且非窮盡的概述，并評論它們在多大程度上可能與開放隨機系統相關。

概率論在測度論結構與泛函分析結構（如 C*-代數或馮·諾依曼代數，即蓋爾范德對偶性 Gelfand duality）之間表現出豐富的對偶性。這種方法是概率與拓撲推廣（如非交換幾何、自由概率和量子概率）的基礎，并已得到廣泛的范疇論處理（例如 [FJ15, Pav22]）。擴展高斯分布非常適合這一圖景，我們將在本節剩余部分提及其中的一些對偶性理論。

效應理論（Effectus theory）[CJWW15] 是圍繞余積 + + 的性質和效應演算（calculus of effects）而非隨機計算的張量積 ? ? 構建的，涵蓋了概率計算以及量子計算。它有一個基于效應代數（effect algebras）的對偶性理論，推廣了前面提到的對偶性。然而，范疇 Gauss 和 GaussEx 沒有余積，因此不是效應范疇（effectuses）。同樣，概率單子（probability monads）的研究（例如 [Gir82, Ave16, FP17]）對于我們相當特定的設定來說似乎過于通用，而且正如引言中所討論的，結合概率和非確定性的單子是棘手的。

范疇概率論的其他領域關注系統的余代數觀點 [Sok11]、高階概率計算（如準博雷爾空間 quasi-Borel spaces [HKSY17, VKS19]）、概率層（probability sheaves）和分離邏輯（separation logic）[Sim17, Sim24, LAJF?24]、線性邏輯 [DK20, ETP14]，或透鏡（lenses）和纖維結構 [Smi24, SCS20, Smi23]。與我們工作的聯系仍有待探索。

這表明，當試圖定義一個陪域 σ σ-代數可以變化的一般通道形式體系時，我們可以使用 Stoch 中的共偏映射（copartial maps），其右腿是滿射可測映射。檢查細節（例如相關的推出是否存在）是未來的工作。

這代表了我們當前方法向非線性開放系統擴展的起點。例如，Willems 給出了供給和需求曲線的例子（見圖 3）。

6.3. 方差-精度對偶性與二次函數。 到目前為止，我們將擴展高斯分布描述為范疇論和測度論對象。我們將簡要勾勒它們如何從分析視角自然產生。為簡單起見，我們僅考慮均值為零的中心高斯分布（centered Gaussians）。

也就是說，此類分布具有全局定義的（可能是奇異的）精度形式，但只有偏協方差形式。

通過考慮擴展高斯分布（和偏二次函數），我們保留了兩種表示之間的對稱性。關聯這兩種表示的對偶性是凸分析中著名的勒讓德變換（Legendre-Transform）的一個實例：

6.4. 表述與超圖范疇。圖形線性代數（Graphical Linear Algebra）指的是一組關于各種范疇（如線性映射、線性關系和仿射關系）的可靠且完備的圖解公理化體系 [PRS22, BPSZ19, BSZ17]。這類表述已被用于推理控制論框架，如信號流圖、電路和 Willems 的線性時不變（LTI）系統 [BSZ14, FSR16]。

6.5. 實現。 我們在 Julia 庫 GaussianRelations.jl [Sam24] 中給出了擴展高斯分布的概念驗證實現。該庫包含了 6.3 節討論的協方差和精度表示，并實現了范疇組合、互連和條件化。

下面的代碼按照例 2.9 的風格，以拉回分布（pullback distribution）的形式實現了含噪電阻。

將此實現與 [Ste21a] 等概率編程語言以及 AlgebraicJulia1 等范疇論框架集成將會很有趣。

原文鏈接：https://lmcs.episciences.org/16126/pdf