強化學(xué)習(xí)狀態(tài)抽象的組合行為語義

強化學(xué)習(xí)狀態(tài)抽象的組合行為語義

Compositional Behavioral Semantics for State Abstraction in Reinforcement Learning

https://arxiv.org/abs/2606.25357

摘要

狀態(tài)抽象在將強化學(xué)習(xí)擴展到復(fù)雜但結(jié)構(gòu)化的系統(tǒng)方面發(fā)揮著關(guān)鍵作用。在研究此類系統(tǒng)時，強化學(xué)習(xí)中已經(jīng)研究了廣泛的行為結(jié)構(gòu)，包括價值函數(shù)、不變量、互模擬關(guān)系和行為度量。然而，對于確定哪些結(jié)構(gòu)在狀態(tài)抽象下可被證明得以保留，目前仍缺乏一個通用原則。在本文中，我們提出了一個用于定義和分析強化學(xué)習(xí)中行為結(jié)構(gòu)的統(tǒng)一框架。該框架提供了一種組合式方法，可基于系統(tǒng)動力學(xué)的局部、單步描述來指定行為語義。利用該框架，我們建立了相關(guān)結(jié)果，展示了行為結(jié)構(gòu)如何在抽象系統(tǒng)和具體系統(tǒng)之間安全地轉(zhuǎn)移。我們進(jìn)一步展示了如何從邏輯行為語義出發(fā)構(gòu)造具有可靠性保證的定量度量。綜合起來，這些結(jié)果為在強化學(xué)習(xí)中推理狀態(tài)抽象下的行為提供了原則性基礎(chǔ)，并為強化學(xué)習(xí)中一大類行為結(jié)構(gòu)提供了可復(fù)用的定義和證明原則。

1. 引言

強化學(xué)習(xí)（Sutton & Barto, 1998）已被應(yīng)用于日益復(fù)雜的領(lǐng)域，如機器人技術(shù)和金融（Kober等，2013；Tang等，2025；Moody等，1998；Liu等，2024），在這些領(lǐng)域中，環(huán)境的大規(guī)?；蚋呔S狀態(tài)空間使得直接在原始狀態(tài)上進(jìn)行學(xué)習(xí)和規(guī)劃在計算上變得難以處理。狀態(tài)抽象（Abel，2022）通過將具體狀態(tài)映射到抽象狀態(tài)，同時保留與決策相關(guān)的行為屬性來管理這種復(fù)雜性（Mohan等，2024；Echchahed & Castro，2025）。

狀態(tài)抽象已以多種形式被研究，不同形式在狀態(tài)如何分組以及行為的哪些方面被保留方面存在差異。在現(xiàn)代強化學(xué)習(xí)中，狀態(tài)抽象通常通過學(xué)習(xí)表征來實現(xiàn)，這些表征將高維觀測壓縮為用于控制和預(yù)測的潛在狀態(tài)（Echchahed & Castro，2025）。一個重要的分支基于互模擬等價關(guān)系和度量（Dean & Givan，1997；Givan等，2003；Ferns等，2004；2011），其起源于并發(fā)系統(tǒng)和系統(tǒng)語義的分析（Milner，1989），后來以多種變體被引入強化學(xué)習(xí)（Taylor等，2008；Castro，2020；Zhang等，2021；Castro等，2021；Tao等，2025）。一種密切相關(guān)的方法訓(xùn)練編碼器以保留獎勵和單步動力學(xué)，如模型無關(guān)抽象（Li等，2006）、自預(yù)測抽象（Schwarzer等，2021；Ni等，2024；Voelcker等，2024），以及其他方法（Fran?ois-Lavet等，2019；Gelada等，2019）。更弱的概念，如價值等價（Givan等，2003；Li等，2006；Grimm等，2020），僅識別產(chǎn)生相似價值的狀態(tài)。然而，在實踐中，狀態(tài)抽象方法往往結(jié)合多個目標(biāo)，使得難以分離各個抽象要求（Ni等，2024；Luo等，2025）。

盡管存在這些差異，這些狀態(tài)抽象準(zhǔn)則可以通過追問交互系統(tǒng)行為的哪些方面旨在被保留來加以理解。這一視角將關(guān)注點從定義抽象本身轉(zhuǎn)移到理解其行為后果上。被保留的屬性可以是單元的或二元的，邏輯的或定量的，精確的或近似的。為了統(tǒng)一地研究它們，我們需要精確的行為結(jié)構(gòu)概念以及比較跨狀態(tài)和跨系統(tǒng)行為的原理性方法。一個顯著的例子是，價值函數(shù)可以被視為一種單元的、定量的行為度量，它總結(jié)了隨時間推移的期望回報（Sutton & Barto，1998）。在邏輯方面，安全強化學(xué)習(xí)使用時序邏輯規(guī)范（Alshiekh等，2018）和各種其他約束形式（Hsu等，2021；Yu等，2022；Wachi等，2024）來定義單元的行為要求，而互模擬關(guān)系（Dean & Givan，1997）則是二元行為結(jié)構(gòu)的典范例子。在定量方面，安全價值函數(shù)是用于衡量風(fēng)險的單元行為量（Wachi等，2024），而各種行為度量則是狀態(tài)抽象核心的二元結(jié)構(gòu)（Luo等，2025）。盡管它們在通過動力學(xué)來刻畫行為這一目標(biāo)上是共同的，但這些概念仍然是零散的，并且對于它們在狀態(tài)抽象下如何轉(zhuǎn)移所提供的保證也有限。

這種零散性還體現(xiàn)在強化學(xué)習(xí)理論中一個反復(fù)出現(xiàn)的模式上，即即使是現(xiàn)有行為結(jié)構(gòu)的輕微變體，也會被從頭開始分析（Taylor等，2008；Castro，2020；Zhang等，2021），且常常遵循相同的證明模板（Ferns等，2004）。這一模式暗示了共享的定義和證明原則的存在，但強化學(xué)習(xí)文獻(xiàn)缺乏一個統(tǒng)一的正式工具包來使這些論證可跨行為結(jié)構(gòu)復(fù)用。我們的目標(biāo)是通過提供一個組合式框架來定義行為結(jié)構(gòu)并分析它們在狀態(tài)抽象下的轉(zhuǎn)移，從而使這些共享原則變得明確。

在本文中，我們提出一個組合式框架，通過余代數(shù)（Rutten，2000；Jacobs，2016）的視角來定義和分析強化學(xué)習(xí)中的行為結(jié)構(gòu)。余代數(shù)提供了一種用于建模轉(zhuǎn)移系統(tǒng)及其行為的統(tǒng)一語言。主要貢獻(xiàn)有三方面：

行為結(jié)構(gòu)的組合式定義。我們引入行為結(jié)構(gòu)的統(tǒng)一定義，將不變量、價值函數(shù)以及互模擬關(guān)系或度量作為共享組合構(gòu)造的實例予以包含，用共同的正式方案取代了許多特例定義。

狀態(tài)抽象的一般轉(zhuǎn)移保證。我們將狀態(tài)抽象建模為余代數(shù)同態(tài)，并證明行為結(jié)構(gòu)通過具體系統(tǒng)和抽象系統(tǒng)之間的拉回和前推運算能沿著此類抽象可靠地傳遞。

從邏輯語義到定量語義的一般橋梁。在明確的代數(shù)兼容性條件下，我們展示如何從邏輯行為語義系統(tǒng)性地構(gòu)造定量度量。

具體而言，第2節(jié)介紹了行為系統(tǒng)的余代數(shù)框架，指明了本文所考慮的系統(tǒng)。第3節(jié)發(fā)展核心技術(shù)工具，包括叢、提升以及拉回和前推運算，我們將用它們來正式定義和分析行為結(jié)構(gòu)。第4節(jié)將抽象框架實例化為強化學(xué)習(xí)中一些現(xiàn)有語義，說明其一般性和表達(dá)力。理論的嚴(yán)格描述被推遲到附錄中。

2. 行為系統(tǒng)

在本節(jié)中，我們引入一個用于建模行為系統(tǒng)的余代數(shù)框架。我們在2.1節(jié)中將狀態(tài)轉(zhuǎn)移系統(tǒng)形式化為余代數(shù)，在2.2節(jié)中將狀態(tài)抽象定義為同一類型系統(tǒng)之間的同態(tài)，并在2.3節(jié)中將策略依賴的轉(zhuǎn)移表述為不同類型系統(tǒng)之間的自然變換。本文中將使用兩種系統(tǒng)類型：用于環(huán)境的隨機摩爾機，以及用于環(huán)境與策略復(fù)合后所得策略條件系統(tǒng)的隱馬爾可夫模型。

2.1 狀態(tài)轉(zhuǎn)移系統(tǒng)

在本文中，我們使用相同的要素，但在環(huán)境和智能體之間增加了顯式的輸入-輸出接口，這使得我們能夠分別分析各組成部分的單步行為，然后組合式地將它們結(jié)合起來以理解整體系統(tǒng)。這種對顯式接口規(guī)范和組合的關(guān)注與近期關(guān)于智能體和強化學(xué)習(xí)的研究相一致（Abel等，2023；Mohan等，2024；Abel等，2025；Rosas等，2025；Boyd等，2025）。

余代數(shù)框架中的一個核心概念是函子（Mac Lane，1978），其非正式定義如下（嚴(yán)格定義見A.1節(jié)）：

接下來，我們考慮一個隱馬爾可夫模型（Rabiner，1989），這是一種沒有輸入的系統(tǒng)：

2.2 同類型系統(tǒng)之間的同態(tài)

狀態(tài)抽象的一個核心且刻意強化的概念是，在抽象系統(tǒng)中保留原始系統(tǒng)的動力學(xué)。我們表明，這一要求可以形式化為同一類型兩個系統(tǒng)之間的余代數(shù)同態(tài)（Rutten，2000；Jacobs，2016）：

注意，這種動態(tài)保持是一個強要求，并非所有抽象都滿足。通常，我們可能只希望保留原始系統(tǒng)的某些結(jié)構(gòu)或?qū)傩裕鐑r值函數(shù)、行為度量或最優(yōu)策略（Li等，2006；Grimm等，2020；Luo等，2025）。我們將在第3節(jié)討論此類行為結(jié)構(gòu)及其如何通過同態(tài)進(jìn)行傳遞。

一個相關(guān)但不同的概念是狀態(tài)-動作抽象中的MDP同態(tài)（Ravindran & Barto，2001；2002），它涉及接口變化。我們將在第F節(jié)討論我們的框架如何容納這一概念。

2.3 不同類型系統(tǒng)之間的變換

在強化學(xué)習(xí)中，我們經(jīng)常需要關(guān)聯(lián)不同類型的系統(tǒng)，例如當(dāng)智能體與環(huán)境交互形成閉環(huán)系統(tǒng)時，或者當(dāng)環(huán)境限制可用動作或變換其輸出時。因此，我們轉(zhuǎn)向自然變換，將其作為比較和連接此類異構(gòu)系統(tǒng)的原則性方法（Rutten，2000，第15章）：

該構(gòu)造刻畫了由環(huán)境和遵循平穩(wěn)策略的智能體所誘導(dǎo)的閉環(huán)系統(tǒng)，這對于描述策略依賴的互模擬（Castro，2020）和價值等價（Li等，2006；Grimm等，2020）是有用的。

3. 行為語義

在形式化了狀態(tài)轉(zhuǎn)移系統(tǒng)如何生成行為之后，我們接下來開發(fā)一個框架，用于指定和推理此類系統(tǒng)狀態(tài)空間上決定行為如何被解釋的結(jié)構(gòu)。在3.1至3.4節(jié)中，我們介紹叢、提升、拉回和前推的概念，這些構(gòu)成了正式定義行為結(jié)構(gòu)的技術(shù)基礎(chǔ)。在3.5節(jié)中，我們給出關(guān)于行為結(jié)構(gòu)傳遞的理論結(jié)果，以驗證我們的框架。在本節(jié)中，我們以安全謂詞、價值函數(shù)以及互模擬關(guān)系和度量作為貫穿性示例。

3.1. Bundle

首先，我們引入?yún)驳母拍?，它涵蓋了謂詞、量、關(guān)系、距離，以及更一般地，狀態(tài)空間上的 n n元結(jié)構(gòu)：

3.2 叢的提升

這是后繼特征（Dayan，1993；Barreto等，2017；Machado等，2023；Wiltzer等，2024）思想背后的單步向量聚合方案。

這些例子表明，選擇算子等同于選擇被提升叢的語義。叢的元數(shù)、余域以及這些設(shè)計選擇共同決定了所研究的行為結(jié)構(gòu)。例如，例3.3中的幾乎必然算子定義了一種更嚴(yán)格的語義。? 例3.4中的加法可替換為其他組合子，如最大值，從而產(chǎn)生不同的獎勵語義。

二元叢提升當(dāng) n = 2 時，叢提升的設(shè)計空間更加豐富。一個常見的選擇如下：

值得注意的是，提升操作不依賴于具體系統(tǒng)（即余代數(shù)），而僅依賴于系統(tǒng)類型（即函子）。接下來，我們引入拉回和前推操作，它們允許我們沿著映射在不同空間之間傳遞叢。

3.3 叢的拉回

3.4 叢的前推

3.5 行為結(jié)構(gòu)的傳遞

現(xiàn)在我們已經(jīng)具備了所有必要組成部分：行為系統(tǒng)、系統(tǒng)之間的映射、行為結(jié)構(gòu)以及用于傳遞結(jié)構(gòu)的操作。最后，我們給出關(guān)于行為結(jié)構(gòu)傳遞的理論結(jié)果，以展示這些組成部分如何結(jié)合在一起。

沿同態(tài)傳遞行為結(jié)構(gòu)

首先，我們給出主要定理，這些定理論證了沿同態(tài)使用拉回和前推來傳遞行為結(jié)構(gòu)的合理性。這些定理給出了通用條件，在此條件下，包括安全謂詞、價值函數(shù)以及互模擬關(guān)系和度量在內(nèi)的常見行為結(jié)構(gòu)可以沿抽象映射被拉回或前推。我們的結(jié)果基于以下引理：

該引理表明，提升和閉包算子通過構(gòu)造與同態(tài)兼容?；谠撘恚覀兛梢宰C明以下行為結(jié)構(gòu)傳遞與構(gòu)造定理：

該定理表明，如果編碼器 φ φ是滿射且保持動力學(xué)，則抽象系統(tǒng)上的任何行為結(jié)構(gòu) Z
都可以通過沿編碼器拉回，在具體系統(tǒng)上被安全地驗證。滿射性條件，即每個抽象狀態(tài)至少對應(yīng)一個具體狀態(tài)，確保了抽象系統(tǒng)不存在可能產(chǎn)生不可驗證行為的額外狀態(tài)。

該定理表明，如果提升中使用的算子通過零謂詞是同態(tài)的，則定量叢的取值為零當(dāng)且僅當(dāng)邏輯叢求值為真。同態(tài)條件編碼了算子之間的關(guān)系，例如“兩個非負(fù)數(shù)的和/最大值為零當(dāng)且僅當(dāng)兩個數(shù)均為零”（組合子），或“非負(fù)隨機變量的期望為零當(dāng)且僅當(dāng)該變量幾乎必然為零”（重心）。通過這種方式，定理3.14不僅是現(xiàn)有概念之間的一種關(guān)系，更是一種構(gòu)造原則：一旦將邏輯行為結(jié)構(gòu)指定為叢，且算子滿足同態(tài)條件，相應(yīng)的定量結(jié)構(gòu)便自動導(dǎo)出。這將對互模擬關(guān)系和互模擬度量（Ferns等，2004；2011；Castro，2020）之間的聯(lián)系推廣到一般的行為結(jié)構(gòu)。

4. 強化學(xué)習(xí)中的狀態(tài)抽象

本節(jié)將我們的框架實例化到四個熟悉的強化學(xué)習(xí)主題上：下一觀測預(yù)測、模型無關(guān)抽象、互模擬等價以及策略依賴轉(zhuǎn)移與價值函數(shù)。

4.1 下一觀測預(yù)測

4.2 模型無關(guān)抽象

接下來，我們將模型無關(guān)抽象（Li等，2006；Li，2009）納入我們的余代數(shù)框架，并證明它等價于余代數(shù)同態(tài)條件：

命題4.2。Li等（2006）中的模型無關(guān)抽象恰好是定義2.6中的余代數(shù)同態(tài)。

4.3 從同態(tài)到互模擬

因此，命題4.2和4.3共同表明，模型無關(guān)抽象是互模擬等價的商映射。這解釋了為何自預(yù)測可以在不顯式計算互模擬度量的情況下恢復(fù)基于互模擬的抽象——互模擬度量的標(biāo)準(zhǔn)形式化需要優(yōu)化耦合（Ferns等，2004；Castro等，2021；Calo等，2024）。

4.4 價值函數(shù)與價值等價

5. 結(jié)論

總結(jié)我們?yōu)閺娀瘜W(xué)習(xí)中行為結(jié)構(gòu)的定義和分析引入了一個組合式基礎(chǔ)，將單元不變量、價值函數(shù)以及互模擬關(guān)系或度量納入一個統(tǒng)一的、可傳遞的框架中。系統(tǒng)動力學(xué)被建模為余代數(shù)，一種核心且廣泛使用的狀態(tài)抽象概念被刻畫為余代數(shù)同態(tài)，而行為結(jié)構(gòu)則通過通用的提升與拉回構(gòu)造從系統(tǒng)動力學(xué)中統(tǒng)一生成。我們證明了通過拉回和前推進(jìn)行可靠傳遞，并從邏輯行為語義導(dǎo)出定量度量。

組合性在本文中，“組合式”意指全局行為語義通過組合更小的組件來構(gòu)建。在系統(tǒng)層面，轉(zhuǎn)移、觀測和策略等組件通過函子構(gòu)造組合成余代數(shù)行為系統(tǒng)。在語義層面，行為結(jié)構(gòu)通過使用廣泛選擇的算子經(jīng)由提升來定義。在抽象層面，這些結(jié)構(gòu)通過拉回和前推與抽象映射組合，給出傳遞結(jié)果而非特例證明。

范圍、局限性與未來工作本文聚焦于嚴(yán)格同態(tài)和精確的結(jié)構(gòu)保持。一個自然的下一步是研究通過 lax 同態(tài)帶有顯式松弛的放寬交換條件。由此出發(fā)，可以發(fā)展近似的定量理論，將這種松弛轉(zhuǎn)化為更弱的傳遞保證、實用的診斷指標(biāo)或訓(xùn)練目標(biāo)。叢的視角也支持符號化規(guī)范，包括安全約束和時序邏輯約束，不過更全面的處理超出了本文的范圍。另一個方向是研究更弱的行為結(jié)構(gòu)保持映射概念，這可能允許更靈活的抽象，同時保留一定的行為保證。最后，我們聚焦于行為結(jié)構(gòu)的理論基礎(chǔ)，但一個重要的下一步是開發(fā)在強化學(xué)習(xí)中學(xué)習(xí)和利用這些結(jié)構(gòu)的實用算法。

原文鏈接：https://arxiv.org/pdf/2606.25357