自適應壓縮：情景與語義記憶的統一框架

自適應壓縮：情景與語義記憶的統一框架

Adaptive compression as a unifying framework for episodic and semantic memory

https://charleywu.github.io/downloads/nagy2025adaptive.pdf

摘要

感官體驗被編碼為記憶，并非作為逐字復制的副本，而是通過解釋和轉化。率失真理論將這一過程框架化為一種壓縮，其中無關細節被丟棄。盡管基于率失真理論的方法在與實證發現相吻合方面取得了成功，但這些方法假設環境規律是已知且不變的，并且令人驚訝的經驗被剔除。然而，大腦對環境規律的模型（語義記憶）是持續學習和完善的，且令人驚訝的事件在這一學習中起著關鍵作用。在這篇觀點文章中，我們提供了一個規范性框架，旨在解決這一計算問題背景下語義記憶與情景記憶之間的相互作用，該問題涵蓋了記憶扭曲、課程效應和優先重放。我們提議將記憶視為解決一個在線結構學習問題，其中語義記憶和情景記憶各自發揮作用。我們主張，語義記憶必須學習那些能夠實現經驗高效編碼的規律，而情景記憶則通過以相對原始的格式保存令人驚訝的經驗以供后續解釋來支持這一過程。該框架為理解自適應壓縮和驚訝如何塑造學習與記憶扭曲的軌跡開辟了途徑。

引言

人類記憶并不存儲感官體驗的逐字副本，而是容易發生扭曲，甚至創造出完全虛假的回憶。即使是對于經常遇到的刺激，如硬幣、交通標志、企業標志或流行文化中的圖標，記憶也可能出現驚人的不準確。這些記憶扭曲和偏差并非隨機的，而是系統性的且極為普遍。一個特別突出的例子是“曼德拉效應”，它得名于一種廣泛的虛假記憶，即認為納爾遜·曼德拉在20世紀80年代死于獄中，而事實上他被釋放并后來成為了南非總統。這種效應的一個視覺類比是，大多數參與者錯誤地識別了視覺文化圖標的操縱版本，例如戴著單片眼鏡的大富翁先生版本，即使它們與原版一起呈現。

這些記憶不準確的程度可能看起來令人驚訝，并可能被視為人類記憶的根本缺陷。然而，記憶的主要目的通常被認為不僅僅是準確回憶過去的經驗，而是支持其他認知功能，如預測、泛化、決策和創造力（圖1a）。例如，這些錯誤中有許多屬于基于要點的扭曲，其中保留了經驗的基本意義（或“要點”），而不是表面細節。這種要點提取過程可以被認為是優先考慮與預測未來事件和指導行為最相關的信息，方法是結合先前的知識和期望來解釋經驗。然而，目前尚不清楚哪些計算原理構成了多個記憶系統（包括語義記憶和情景記憶）服務于這些認知目標而對過去經驗進行編碼的方式的基礎。

最近在記憶研究中獲得關注的一個關于這個問題的規范性視角強調了壓縮的重要性。具體而言，率失真理論的數學框架起源于20世紀50年代，作為信息論的擴展，它提出了如何對輸入進行最優編碼，使其適應可用的容量預算（即率），同時考慮到系統的目標（框1和圖1b）。如果有足夠大的預算，完美的重建（無損壓縮）是可能的，但該理論擴展到了更一般的情況，即即使是最好的可能編碼也會導致重建輸入中的失真（有損壓縮）。率失真理論推導出了一個基本的權衡，表明率的降低會導致可實現的最小失真相應增加（圖1c）。例如，當在網絡連接不佳的情況下流式傳輸視頻時，會降低視頻質量以保持流暢播放。用率失真理論的術語來說，系統降低了編碼的率以匹配可用的預算，這增加了失真（在這種情況下，是圖像的視覺退化）。

率失真理論的一個關鍵見解是，編碼器可以利用環境中的規律性來從編碼中去除冗余信息。這種冗余減少即使在無損情況下也能實現壓縮，啟發了神經科學中的高效編碼假說。當資源不足以進行完美重建時，率失真理論通過策略性地丟棄非基本信息并隨后嘗試基于已知規律對其進行重建來實現進一步的壓縮。然而，這種重建過程通常會引入失真，使回憶起的刺激更好地與先前觀察到的規律對齊。

將率失真理論作為人類記憶的規范性框架應用時，先前觀察到的規律是一種通常被認為屬于語義記憶領域的知識形式。這些規律可以被形式化為環境的內部生成模型，從而能夠解釋和預測正在進行的經驗。使用語義記憶中維持的生成模型進行壓縮的過程會在編碼-解碼過程中引入失真——例如給大富翁先生加上單片眼鏡（圖1d）。這種解釋與基于要點的扭曲以及早期關于記憶扭曲的理論相一致，這些理論將類似的錯誤歸因于先驗知識結構（記憶圖式）的影響。盡管經典壓縮算法產生的記憶扭曲在性質上與人類記憶不同（圖1e），但機器學習的進展——特別是將深度生成模型應用于壓縮——使得基于率失真理論的模型能夠捕捉復雜領域中的記憶現象，如人類繪畫、文本和自然圖像。這些發現已被用來證明率失真理論可以作為一種統一框架，簡潔地解釋先驗知識（維持在語義記憶中）如何影響感官經驗，并產生具有特征模式的記憶扭曲（框1）。

框 1 | 率失真理論與人類記憶

盡管率失真理論為人類記憶提供了一個有吸引力的框架，但由于學習自然刺激準確生成模型的困難，對其一致性的研究受到了阻礙。因此，工程化的壓縮算法通常會產生壓縮偽影或“記憶扭曲”，這在性質上與人類實驗中觀察到的結果不同。現代機器學習方法，特別是將深度生成模型（如變分自編碼器）應用于壓縮，極大地改變了這一局面。變分自編碼器使得基于率失真理論的記憶動態模型能夠直接應用于復雜的自然領域，如人類繪畫、文本甚至自然圖像。

生成模型（如變分自編碼器）可以學習生成與其訓練數據一致的新刺激，通常通過將刺激“編碼”為潛在表征，然后“解碼”以產生原始刺激的（通常不完美的）重建。直觀上，這個過程類似于記憶痕跡的編碼和解碼。事實上，變分自編碼器——具體來說，是一個稱為beta-變分自編碼器的擴展版本——可以被解釋為率失真理論的近似實現。這些自編碼器也可以被視為大腦中內部生成模型的類比，要么明確地置于率失真理論的規范性框架中，要么依賴于與人類數據的定性匹配。總而言之，率失真理論為記憶提供了三個原則，我們在此詳細說明：先驗知識、容量限制和任務依賴性。

率失真理論在人類記憶背景下最直接的應用涉及先驗知識對回憶的影響。如果學習到的環境規律模型為記憶痕跡的有效編碼提供了基礎，那么領域專家比新手具有更準確的回憶，因為他們擁有更準確的領域模型。然而，這種對領域專家的好處僅適用于與模型一致的刺激。這種模式已在關于合成詞和棋局配置的記憶研究中得到證明。使用學習到的生成模型來壓縮經驗，不僅解釋了回憶準確性隨專業知識的不同變化，還解釋了引入的錯誤類型。編碼刺激的過程可以被視為根據生成模型的內部變量對其進行解釋；這種高層次的解釋構成了“要點”。當經驗的特定細節從記憶痕跡中被丟棄時，它們是從模型的潛在表征中生成的。由此產生的扭曲，例如大富翁先生戴上單片眼鏡，在記憶文獻中被稱為基于要點的扭曲。一個著名的例子是Deese-Roediger-McDermott效應，其中回憶語義相關單詞列表通常會導致以與呈現項目幾乎相同的概率回憶出強烈相關但未呈現的項目。基于率失真理論的方法使用變分自編碼器學習自然語言的生成模型，已被用來表明未呈現項目的侵入可以通過從模型的潛在表征重建單詞列表來解釋。基于要點的扭曲的影響還意味著，當對模糊刺激的解釋被操縱時（例如通過上下文線索），回憶準確性和扭曲的性質都應該受到影響，并且這種效應也可以使用率失真理論來重現。

率失真理論還自然地解釋了變化資源約束的影響。記憶的理論分析表明，需要某條信息的可能性隨時間推移而降低。與這種模式一致，人類遺忘曲線似乎適應了這種下降的需求概率，隨著回憶前延遲的增加，回憶的刺激顯示出增加的基于要點的扭曲。在率失真理論中，分配給記憶痕跡的資源量對應于率失真曲線上的目標點（圖1c），這也調節了重建刺激中與模型一致的扭曲量。

最后，率失真理論還解釋了記憶如何受任務需求和行為目標的影響。人類記憶和感知始終表現出對給定任務中混淆刺激成本的敏感性。例如，在類別學習任務中，人類記憶對與學習類別相關的特征變得越來越準確，而對不相關特征的準確性下降。率失真理論可以通過失真函數納入這些因素，例如，通過過度加權與危險或獎勵相關的錯誤。率失真理論中的這種自由度也可以被利用來優化預測目標，這可以表明需要更新參數而不是精確重建刺激。

與保留一般知識的語義記憶相反，情景記憶是一種不同的表征格式，它以相對原始的形式保留特定事件和感官經驗的痕跡。然而，情景記憶的規范性作用——具體而言，相對于與行為目標直接相關的內容，其保持豐富細節的傾向——一直是眾多提議的主題。將率失真理論應用于記憶扭曲的工作建立在記憶系統之間的區別之上，認為語義記憶為情景的高效壓縮提供了編碼框架。

通過描述先驗知識如何影響感官經驗的編碼和重建，基于率失真理論的方法成功地解釋了大量不同的記憶扭曲和偏差。然而，我們認為率失真理論忽視了記憶的一個關鍵挑戰：需要基于不斷積累的經驗來學習和更新內部生成模型。

在這篇觀點文章中，我們提出了對記憶計算問題的增強框架，將其視為通過語義和情景記憶系統的結合而實現的迭代學習壓縮。我們認為情景記憶的相對豐富性是由于它們在資源約束下支持因果結構的在線學習中的作用。然后，我們回顧了關于人類學習中課程敏感性的文獻，并將我們的預測與互補學習系統理論的預測進行了對比，后者是對情景記憶和語義記憶之間相互作用的另一種解釋。接下來，我們轉向情景記憶中存儲了什么的問題，并根據我們的框架解釋關于記憶優先級和經驗重放的理論和經驗結果。最后，我們為未來的研究繪制了軌跡，特別關注大腦如何平衡節省記憶資源和維持學習能力這兩個對立的目標。

記憶的計算問題

將率失真理論作為人類記憶的統一解釋的一個根本問題是，它假設了一組已知且不變的環境規律，并將其抽象為一個內部生成模型。在現實中，大腦必須在一生中構建這個生成模型（語義記憶），并根據新經驗不斷對其進行調整。值得注意的是，這種關于已知且不變規律的假設后來被其提出者承認為高效編碼框架的一個局限性，他觀察到今天冗余的東西不一定昨天也是冗余的。這一假設還導致了對人類記憶的預測出現偏差。因為假設生成模型是正確的，所以對經驗中令人驚訝的方面的唯一可用解釋是，它們是巧合或噪聲的結果，并且不太可能再次發生。因此，當資源有限時，這些令人驚訝的方面是最先被遺忘的。與這一預測形成鮮明對比的是，人類傾向于以高度的情景準確性回憶令人驚訝的、新穎的和不一致的信息。

為了解決這個問題，我們提議在已知生成模型下如何有效壓縮經驗之外，考慮兩個額外的因素。首先，內部生成模型需要被學習。其次，生成模型的學習必須以在線、迭代的方式進行，其中該模型被用于編碼那些同時也作為更新其基礎的經驗。這些約束給壓縮視角帶來了一個棘手的問題，因為當它在優化率失真權衡時，一個不正確的模型會丟棄恰恰是更新它所需的信息。

為了看清這個擴充后的計算問題中固有的挑戰，請考慮以下例子。想象一下，使用試錯法學習如何用一臺不熟悉的機器（如爐灶摩卡壺）煮出好咖啡，方法是弄清楚不同的變量如何影響咖啡的味道。煮一杯咖啡的每個“情景”（圖2a）都涉及相關變量（如咖啡豆的種類或數量）和無關變量（如天氣或背景音樂）。在這種情況下，可以通過觀察相關輸入變量如何影響咖啡的味道，并將這些關系捕捉到生成模型的參數中，來創建一個咖啡沖泡的生成模型。根據規范性學習理論，可以在不特別記住任何單個情景的情況下獲得咖啡沖泡的生成模型。相反，所有相關信息都可以通過迭代更新生成模型的參數并丟棄原始經驗來捕捉（圖2b）。

想象一下，在許多次沖泡情景之后，你已經弄清楚了一個能穩定煮出美味咖啡的變量配置。然而今天，它嘗起來卻莫名其妙地難喝。如果你能直接獲取所有過去的情景，你就能輕易確定原因：盡管所有被認為相關的特征都與過去成功時相同，但這次加入壺中的水太冷了，導致在水被加熱至沸騰的過程中咖啡粉被燒焦了。然而，由于初始水溫之前被認為是不相關的，它在過去情景中的值已經被丟棄了。因此，你感到驚訝，并且沒有明確的線索表明哪里出了問題，或者下次嘗試該如何調整。

上述學習過程失敗背后的一個關鍵屬性是，除了參數估計（完善已知變量之間已知的參數關系）之外，它還具有一個額外的結構學習問題（框2）。結構學習涉及識別給定環境中的因果變量（例如，咖啡豆類型、天氣或背景音樂）以及它們如何相互影響（例如，天氣可能影響情緒，但不影響咖啡豆類型）（圖2c）。就壓縮而言，已知的模型結構通過僅編碼與參數相關的信息，能夠實現記憶資源的高效利用，并且通常能夠實現參數的在線估計。相比之下，對于結構學習，在線更新要求并行跟蹤和更新每一個可能的假設。在線跟蹤和更新很快就會變得不切實際，因為即使對于只有四個變量的玩具問題，也有543種關于因果結構的可能假設（而增加一個變量后就變成了29,000種）。這種假設空間的組合爆炸是結構學習問題的典型特征。這種結構性假設的激增意味著，為每個候選結構維護相關信息與直接存儲所有過去的情景一樣具有挑戰性。

框 2 | 結構學習與紐拉特之船

結構學習指的是一類學習問題，其中競爭模型不僅在模型參數的精確數值（參數估計）上有所不同，而且在參數的數量、變量的選擇、關系的形式，甚至用于指定模型的基本構建塊上也有所不同。結構學習的規范性理論通常將學習問題分解為確定模型的高級結構（結構假設）和在保持結構固定的同時微調參數。一些方法進一步區分了結構和形式，其中形式指的是圖的一般類別（如樹或網格），而結構定義了邊和節點的確切集合。結構的改變意味著局部修改（如添加或刪除一條邊），而模型形式的轉變則是罕見但根本性的轉變，例如一個孩子決定將動物物種組織成樹狀結構而不是分離的簇。為簡單起見，我們在這里在更廣泛的意義上使用“結構學習”，它涵蓋了結構和形式。

結構學習的兩個屬性使其從根本上比參數估計更具挑戰性。首先，結構學習問題通常通過指定基本組件及其組合規則來定義（例如，因果圖由節點和有向邊構建）。這些組合規則通常是開放式的，使得任意復雜的結構能夠在學習過程中被“生長”出來。盡管組合性使這些模型能夠構建真正新穎的解釋，但它也導致了難以想象的巨大假設空間。其次，在假設空間中導航相當困難。為了說明這一點，想象一個“學習景觀”，其地平線由模型的可能配置跨越，地形的高度由該配置的擬合優度定義（如圖3c所示）。在參數估計中，這種景觀通常是平滑和連續的，參數的微小變化會導致模型預測的微小變化。然而，在結構學習中，可能的配置通常是離散的，相鄰的點有時可能對應于截然不同的預測，使得地形崎嶇且危險。

紐拉特之船的類比最初是在修改科學理論時遇到的困難的背景下提出的。然而，這些困難與學習過程中遇到的困難相呼應，使得紐拉特之船的類比也適用于這種語境。紐拉特之船的迭代重建可以被精確地形式化為層次貝葉斯推斷框架內的一種特定類型的近似結構學習。針對不確定性的貝葉斯解決方案涉及跟蹤所有可能性，并將它們總結在后驗分布中。理想情況下，層次貝葉斯推斷規定計算所有結構假設的后驗分布，并隨著新觀察的到來并行更新它們。在實踐中，通常使用蒙特卡洛近似，其中在層次結構的最高層，只跟蹤一組受限的假設（甚至只有一個）。為這個受限集維護參數的后驗分布比維護完整集所需的資源要少得多。在這類蒙特卡洛算法中，更新模型結構的過程被編碼在提議分布中，該分布指定了在每次更新中可以考慮哪些替代假設。遵循紐拉特之船的原則，這種提議分布傾向于局部改變，例如，僅允許添加或刪除單個因果邊。

因果學習是結構學習的一個典型例子。然而，結構學習問題在自然環境中無處不在，包括情境學習、識別數據中潛在的結構形式以及學習視覺或抽象概念。結構學習也被認為與事件分割有關，其中需要發現視覺或聽覺信息流的時間結構。在最一般的層面上，理論的可組合構建塊可以定義編程語言的組件，使學習類似于程序歸納。

一方面，有限的人類記憶資源要求以壓縮格式存儲經驗，這由學習到的環境生成模型支持。另一方面，學習和維護生成模型需要訪問先前情景的細節，而這些細節在當前模型結構下可能被認為是不相關的。因此，必須在結構性假設的組合爆炸（考慮所有可能的模型結構）與丟棄關鍵信息的風險（僅考慮單一結構下的解釋）之間取得平衡（圖2d）。

我們提出，大腦使用一種依賴于兩個相互關聯的記憶系統相結合的近似方法（圖3）。語義記憶構建一個生成模型，該模型捕捉環境規律并促進壓縮。由于計算和記憶約束，語義記憶僅跟蹤關于環境總體因果結構的單一工作假設。盡管我們的論點可以擴展到在受限局部領域內跟蹤多個結構假設的情況，但為簡單起見，我們假設只有一個假設。我們將基于這個單一結構假設、存儲在語義記憶中的生成模型稱為語義模型。然而，限制所跟蹤的假設集存在陷入死胡同的風險，即進一步改進語義模型所需的信息已經被選擇性地丟棄了（如上面的咖啡例子）。因此，情景記憶保留了新穎和令人驚訝的情景（即在當前假設下最可能被誤解的情景）的相對原始且未壓縮的編碼，為錯誤的結構假設提供了一定的保障。

這種提出的語義記憶和情景記憶的整合解決了學習以記憶（構建能夠實現壓縮的語義模型）和記憶以學習（存儲相關情景以供未來模型更新）這兩個理論問題。它還解釋了一系列關于人類行為的實證發現，包括記憶扭曲和學習中的課程效應。

學習以記憶

記憶資源的有效分配需要基于觀察構建并持續更新環境的生成模型，我們認為這是語義記憶的作用。由于環境的因果結構未知，可用于此類模型的假設空間巨大且難以導航，使得近似方法成為必要。一種常用的近似結構學習方法是跟蹤一組選定的假設而不是完整的分布，這被稱為蒙特卡洛抽樣。來自多種學習范式的匯聚證據表明，大腦可能也僅限于跟蹤一組受限的假設，甚至單一的結構假設。一種提議將這種學習過程比作紐拉特之船的隱喻，該隱喻最初在科學哲學中被引入，用以說明科學理論的漸進和連續發展。紐拉特之船的隱喻將理論家比作試圖在航行時重建船只的水手，逐漸更換船只的部件，但從未完全從頭開始（因為那樣船會沉沒）。

應用于大腦時，隱喻中的船代表了個體在語義記憶中對世界結構的不斷演化的理解。在我們的提議中，語義記憶維持著一個動態且不斷演化的結構假設，該假設為感知和決策提供信息。紐拉特的隱喻強調了對船只所做改變的局部性，反映了大腦對世界模型的更新并非全面替換，而是漸進式修改的觀點。因此，可以在不損害其在環境中有效運作能力的情況下對模型結構進行局部改變（圖4a）。

根據我們的壓縮視角，這艘船代表了語義記憶中的單一結構假設，決定了如何解釋新經驗，從而決定了保留什么信息。在實驗環境中，參與者基于早期觀察形成這種結構假設。如果他們成功地發現了正確的結構，那么進一步的同構觀察可以被快速且高效地整合，語義記憶決定了觀察的哪些方面可以安全地丟棄。然而，不正確的結構假設可能導致學習中的兩個關鍵失敗模式：首先，它可能損害對未來觀察的解釋，導致錯誤的參數更新。其次，即使參與者意識到他們的假設存在缺陷，替代方案也是基于過去的數據進行評估的，而這些數據是基于不正確的假設壓縮的。因此，支持正確結構的證據可能被誤認為是噪聲并被系統性地丟棄，使學習者被困在一個死胡同假設中。紐拉特之船近似中學習和壓縮的這種糾纏導致了對刺激遭遇順序的明顯敏感性，通常被稱為課程效應。這些效應包括首因效應，即在實驗早期經歷的刺激決定了后期經歷內容的影響。這些效應已在人類行為中通過獎勵學習和因果學習等任務觀察到。

這些人類學習模式與使用人工神經網絡的語義學習替代方案所特征性的學習動態不同。人工神經網絡也表現出穩健的課程效應，但通常呈現與人類傾向于表現出的相反模式。例如，在一項研究中，人類和人工神經網絡被給予相同的語境依賴性決策任務（圖4b）。當人工神經網絡以分塊的方式呈現不同的任務或學習語境時，不同的分塊傾向于相互覆蓋并導致表現不佳，這是一個被充分研究的現象，被稱為"災難性遺忘"。但是，當訓練數據交錯呈現時，人工神經網絡可以可靠地學習。與人工神經網絡相反，人類在分塊設置中表現更好，并受到交錯課程的阻礙，且隨著任務復雜性的增加（每個語境有更多特征），這種效應更強。其他實證研究也發現了類似的分塊課程效應，導致人類在具有結構不確定性的任務中表現更好。我們注意到，一些關于人類學習的研究也在不同情境下發現了交錯課程的好處，特別是當刺激之間的泛化有利于任務表現時，或者在辨別任務中，不同類別范例的直接并置似乎突出了它們之間的差異。

互補學習系統理論是關于為何需要情景記憶系統的最有影響力的提議之一，它關注的正是減輕災難性遺忘的挑戰。互補學習系統理論將語義模型的獲取視為人工神經網絡的逐漸更新，隨時間整合多次經驗的信息。根據這一觀點，情景記憶的效用在于，將較舊的情景與當前觀察交錯呈現可以保護舊知識不被覆蓋。

從在線結構學習的角度來看，分塊數據是理想的，因為來自單一語境的連續試驗使學習者能夠專注于完整結構的一個子集，從而創建一個更易于管理的假設空間以供搜索。一旦結構被發現，語義記憶就可以被用來有效地壓縮來自同一語境的進一步觀察，使學習者能夠微調參數。這種情況類似于上面描述的咖啡例子。相比之下，在交錯訓練中，需要考慮的初始假設空間要大得多，這使得形成初始假設變得困難。此外，如果沒有有效假設提供的解釋性結構，觀察中的有用信息就無法被選擇性地保留，從而阻礙了正確結構證據的積累。這種情況的一個可能結果是，某些學習者可能無法準確地保留語境，或者得出一個將語境合并在一起的過度簡化的結構。在互補學習系統中，語義記憶依賴于交錯訓練，而情景記憶則減輕了分塊的不利影響。相比之下，我們的方法表明，語義記憶在分塊訓練下學習最有效，而情景記憶對于抵消由交錯訓練引起的失敗模式至關重要。

人類學習中的課程依賴性與結構發現問題之間更直接的聯系，是在一項使用分塊課程并操縱分塊內容的研究中建立的。參與者學習了“魔法蛋”的特征與“棍子”長度之間的因果關系（圖4c）。在“構建”課程下，第一個分塊僅包含存在一種特征的示例（條紋或斑點），而第二個分塊引入了第二種特征。相比之下，“解構”課程在第一個分塊中呈現了兩種特征（一個更具挑戰性的結構推理問題）。參與者被允許在同一分塊內重新訪問先前的示例，從而減輕了對他們記憶的需求。在構建課程下，比在解構課程下有更多的參與者發現了正確的結構——這里被概念化為一個程序。在構建課程中，可以從第一個分塊輕松推斷出正確的部分規則（僅結合一種特征），然后將其擴展以結合第二種特征。相比之下，解構課程中的順序顛倒使得初始假設空間變得更加復雜。盡管更簡單的第二個分塊允許相當大比例的參與者識別出正確的結構基元（條紋數量對棍子長度具有乘法效應的規則），但他們無法將這一知識追溯性地應用于來自第一個分塊的觀察，這與以下假設一致：由于缺乏合適的解釋性結構，他們無法有效地壓縮其信息內容。

總而言之，我們認為有效的壓縮需要大腦在語義記憶中迭代地構建環境的生成模型，同時應用相同的模型來壓縮觀察。我們提出，大腦依賴于這個在線結構學習問題的近似解決方案，這導致學習中出現特征性的路徑依賴性：壓縮能力關鍵地依賴于結構發現的成功。由此產生的課程效應與經驗數據一致，但與在人工神經網絡中觀察到的動態形成對比。我們框架的一個關鍵見解是，通過近似推斷進行的在線結構學習意味著有效壓縮與穩健的結構學習之間的權衡。有效的壓縮涉及使用語義記憶來丟棄無關信息，而學習潛在結構則需要將經驗中看似無關的方面保留在情景記憶中，以便評估替代假設。接下來，我們將重點放在我們提出的框架的后一個組成部分上，探討情景記憶如何支持語義知識的獲取。

記憶以學習

在本節中，我們探討了使用記憶來創建對先前經驗的豐富重建，包括特質性的和可能無關的細節。我們的框架基于這樣一個見解：為了緩解當前結構假設有缺陷時發生的語義學習失敗模式，唯一普遍適用的方法是保留在當前假設的語境下看似無關但對評估潛在替代方案相關的信息。因此，記憶的能力對于確保未來的學習保持可能至關重要。

在我們的煮咖啡例子中，水溫從相關變量集中的遺漏意味著在出現意外的糟糕結果后，不清楚如何更新模型。如果該情景被編碼在情景記憶中，它可能包含在當前結構假設的語境下無關的細節，例如水是從冷水龍頭接的。隨后的一個情景中，水來自預熱的壺并產生了味道好得多的結果，這可以追溯性地揭示水溫是一個相關的語境變量。更一般地說，我們假設學習者以細節豐富且相對未提煉的格式保留經驗，這使他們能夠對模型結構進行更徹底的修改。延伸上一節的紐拉特之船隱喻，我們將記憶的這一方面稱為“情景救生筏”（圖5a）。

一個簡單的類別學習任務的結果證明了情景救生筏的價值。在這項研究中，人工學習者必須通過順序觀察迭代地學習類別，類似于僅基于可見特征發現未知動物的物種（無監督聚類，圖5a）。在這種語境下，結構學習要求學習者確定類別的數量，而參數估計要求細化每個類別的特征分布（圖5b）。研究發現，僅語義記憶的學習者（使用紐拉特之船近似來迭代更新其語義模型的結構估計和參數，但不保留單個情景的明確表征）通常在結構學習任務中失敗。具體而言，僅語義記憶的學習者傾向于系統性地低估類別的數量，除非觀察被仔細排序（使用分塊課程）。然而，擁有語義和情景記憶的學習者，即使情景容量嚴重受限，也極大地改善了結構學習（圖5c）。學習者的情景記憶存儲了一小部分過去的經驗，這些經驗在考慮替代結構時可以被重放，從而增強了當前假設參數中包含的信息。這個重放過程可以被視為記憶鞏固重放的類比，其中情景記憶與語義記憶中維持的知識相結合。

盡管情景救生筏對結構學習明顯有利，但情景記憶是一種昂貴的記憶格式。情景記憶的成本源于其效用的來源：保留特質性細節是昂貴的。記憶成本與學習收益之間的權衡提出了將稀缺資源分配到哪里以及優先記住哪些情景的問題。為了回答這個問題，我們首先考慮一個簡化的語境，其中唯一的存儲限制是可以存儲的情景數量，但每個情景都可以被完美回憶。

與由于成本而需要選擇性應用情景記憶的推理一致，具有有限情景記憶容量的模擬學習者在在線結構學習中，當他們選擇性地優先處理具有高貝葉斯驚訝的經驗時，與不加區分地應用相同容量的學習者相比表現更好（圖5c）。這種方法類似于早期類別學習中向一般規則添加例外的提議，共享存儲異常事件的需求。貝葉斯驚訝的一個優點是它區分了單純的噪聲和值得模型改變的驚訝，盡管未來可以探索驚訝或新穎性的替代形式化。驚訝還可以發出環境變化的信號，并成為檢測新類型事件的基礎，從而有助于事件分割。

不一致和新穎信息在記憶中被選擇性優先處理的想法在心理學中有著悠久的歷史，并得到了大量實證發現的支持。同樣，在神經科學中，海馬結構（與情景記憶相關）保留新穎信息的想法已被廣泛探索，特別是在經驗重放和記憶鞏固的背景下。

情景應如何被優先處理的問題通常被稱為優先重放。然而，由于在這些方法中記憶資源的約束不是主要關注點，優先化指的不是應該保留哪些情景，而是它們應該被多頻繁地重放。（我們注意到，在極限情況下，降低重放情景的概率對應于丟棄它。）根據相關的獎勵預測誤差對情景進行優先處理在機器學習進步中發揮了重要作用，例如通過強化學習在Atari游戲中實現人類水平的表現。與優先處理新穎信息的想法一致，有人認為在強化學習環境中保留情景的效用在遇到新環境的早期階段最大，即在建立足夠準確的語義模型之前。然而，這一論點強調了情景對決策的直接效用，而不是它們在支持語義模型構建中的潛在作用。

我們現在轉向更現實的場景，其中記憶資源更加有限，且情景無法被完美回憶。率失真理論視角表明，如果情景被有損壓縮，由語義記憶中維持的生成模型填補缺失細節，則可以減少記憶資源（框1）。生成重放（在人工神經網絡訓練期間重放本質上是壓縮的情景）已被證明與精確重放（無細節丟失地重放情景）相比，對記憶資源的需求低得多，同時仍能防止災難性遺忘。

雖然使用語義記憶壓縮情景相比于精確重放所需的逐字存儲能夠大幅節省記憶資源，但這似乎與我們提出的情景記憶的作用直接矛盾。如果存儲情景是為了保留看似無關的細節，以便在當前模型不正確時進行重新解釋，那么不清楚如何依賴當前模型來壓縮這些經驗。率失真理論的一個關鍵見解對于解決這種緊張關系可能至關重要：情景可以以不同的細節級別進行壓縮，反映分配的資源（率）和失真之間的不同權衡。與在情景記憶中存儲事件的精確副本或僅僅更新模型參數之間的二元選擇不同，這種結構提出了變速率編碼的可能性，在重建所需保真度方面有一系列選擇。

我們提出，感官經驗的變速率編碼是大腦平衡節省資源和保持對新穎性的魯棒性這兩個競爭目標的基礎（框3）。具體而言，我們建議編碼率——或等效地，期望的回憶準確性——應由與每個觀察相關的驚訝或新穎性度量來決定（圖5d）。在這種方法下，大多數經驗會在情景記憶中留下痕跡，但預測良好的情景會以高度壓縮的形式存儲，而令人驚訝的情景則較少壓縮。預測良好的情景的高度壓縮會使它們容易出現越來越大的基于要點的扭曲，正如之前關于人類記憶的工作所證明的那樣。然而，當語義記憶對其解釋的信心較低時，由于預測被違反或新情況，可以分配額外的記憶資源以較少的壓縮來編碼情景，從而導致對情景細節更準確的回憶。這種機制可以以分級的方式優先處理情景中的信息，并解釋為什么令人驚訝的經驗通常比預期的經驗被回憶起更多的情景細節。

總而言之，我們的提議通過情景記憶和語義記憶之間的相互作用提供了對記憶扭曲的計算解釋。然而，變速率壓縮對情景記憶防止結構學習失敗的能力的影響在理論上仍未被探索，有待實證驗證。

結論

人類記憶容易出現系統性偏差和扭曲，這被廣泛解釋為其適應性功能和固有資源限制的反映；記憶受到從經驗中解釋和學習的需要的塑造。然而，這種設置提出了雙重挑戰：在學習如何決定什么是有用的同時保留有用的信息。我們認為，就其當前形式而言，率失真理論作為人類記憶的規范性框架是有欠缺的。盡管基于率失真理論的方法為謎題的第一部分（如何使用語義模型壓縮情景）提供了規范性解決方案，但它們忽略了語義知識最初是如何從模型解釋和壓縮的相同經驗中獲取的。我們強調了這種遺漏如何導致與人類記憶經驗現象的定性差異，并認為解決這些現象需要我們重新思考率失真理論的基本假設。

因此，我們提出了一個修正的規范性框架，其中語義記憶跟蹤環境結構的有限近似。在這個框架中，語義模型的在線構建和更新類似于紐拉特之船在海上重建的方式。然而，因為在單一結構假設下解釋觀察會導致基本信息的系統性丟失，我們主張調用額外的情景記憶資源，以相對未壓縮的格式編碼新穎和令人驚訝的觀察。因此，在重建語義記憶之船時，情景記憶充當了救生筏。

最終，我們對情景和語義記憶系統之間相互作用的視角為人類學習和記憶中的廣泛現象提供了簡約的解釋，同時也為該領域的一些持續挑戰提供了見解。通過解釋情景記憶在防止學習錯誤語義模型中的作用，我們得出了一個規范性解釋，說明為什么令人驚訝的刺激通常比熟悉或預期的刺激以更高的保真度被記住。相比之下，我們的框架預測，對于與當前結構假設一致的經驗，會出現典型的類似率失真理論的扭曲。

我們觀點的一個關鍵焦點是語義模型的演變對記憶扭曲的后果。標準的率失真理論方法已經作為經典基于要點的記憶扭曲的統一框架，例如語義相關項目的侵入或素描記憶中與標簽一致的扭曲。然而，如果我們允許壓縮模型隨時間演變，由新觀察驅動的更新將影響后續觀察的編碼——這是課程效應的定義屬性。相反，在新經驗之后更新模型（例如在事后誤導信息或后見之明偏差中）會改變解碼器，從而改變過去經驗的重建方式，這也有可能解釋聯想記憶錯誤。

在人類和機器學習中，刺激通常以隨機方式呈現，試驗之間具有簡單或不存在的依賴關系。這種呈現順序對于消除實驗混淆因素具有明顯的好處。然而，它與自然環境的特征——豐富的、多尺度的序列結構——形成了鮮明的對比。在這里，我們關注粗粒度結構，忽略了情景的時間廣度，因此也忽略了如何分割連續感官輸入的問題。這種細粒度的時間結構及其與結構學習的交互，對于更細致地理解課程效應可能很重要，整合這些方法可能會在統一框架下解釋更多種類的課程效應。對學習中的路徑依賴性的更精細理解——這對教育應用也至關重要——將需要改進關于語義知識如何表征和組織的理論。一個有趣的方法是將語義記憶視為一個概念庫，通常在程序歸納框架中形式化，其中課程設計的目標是誘導廣泛適用且可組合的概念模塊，以便進一步學習可以在此基礎上構建。

盡管在現有的率失真理論解釋中缺失，但情感顯著性在經驗上是影響記憶的最強因素之一。我們的框架提供了兩種有前途的方式來考慮這個因素。首先，經驗的情感相關方面可以通過率失真理論的失真函數被優先處理。這種優先化與獎勵如何在強化學習環境中與生成模型相結合相一致，其中情感調節與獎勵相關的計算。其次，我們提出新穎性和驚訝決定了變速率編碼中的資源分配。因為情感顯著性表明該情景是否預計在未來被檢索，高顯著性意味著更高的編碼率。因此，創傷經歷可以被理解為一種極端情況，即主要編碼未解釋的感官特征，這與創傷后應激障礙的定性特征相一致。更廣泛地說，紐拉特之船與情景救生筏的結合可能被證明是更深入、從計算角度理解記憶中的創傷事件及其對發展的長期影響的肥沃土壤。

盡管我們的觀點關注情景和語義記憶的組合如何支持學習環境的有效模型，但這不太可能是智能體所需的唯一學習系統，就像存在多個記憶系統一樣。率失真理論有助于闡明其中一些差異，但額外的計算考慮——例如計算成本的權衡以及這些系統的路徑依賴共同進化——也可能發揮關鍵作用。

原文鏈接：https://charleywu.github.io/downloads/nagy2025adaptive.pdf