認知卸載即基于價值的決策：建模認知努力與記憶期望值

認知卸載即基于價值的決策：建模認知努力與記憶期望值

Cognitive offloading is value-based decision making: Modelling cognitive effort and the expected value of memory

https://www.sciencedirect.com/science/article/pii/S0010027724000696

摘要
人們如何在將信息保留在短期記憶中與將其卸載到外部提醒工具之間做出決策？這又如何影響后續記憶？本文提出了一個基于兩個原則的簡單計算模型：A）存儲在大腦記憶中的項目會占用其有限容量，從而產生機會成本；B）提醒工具會帶來較小的物理操作成本，但其容量實際上是無限的。這些成本與記憶的價值相權衡，從而決定最優策略。模擬再現了許多實證發現，包括：1）優先卸載高價值項目；2）在記憶負荷較高時增加卸載行為；3）卸載可能導致被卸載項目被遺忘（“谷歌效應”），但4）對其他項目的記憶有所改善（“節省增強記憶”）；5）當提醒工具不可靠時，節省增強記憶效應減弱；6）項目價值的影響：人們可能優先卸載高價值項目，并將額外的低價值項目存儲在大腦記憶中；7）對設置提醒所需努力最敏感的并非任務難度最高或最低時，而是處于中等難度時；8）記憶能力較差的個體更傾向于增加卸載行為。因此，基于價值的決策為許多認知卸載現象提供了一個簡單的統一解釋。這些結果與認知努力的機會成本模型一致，該模型可以解釋為什么內部記憶讓人感到費力，而提醒工具則不會。

關鍵詞：認知卸載 決策 強化學習 價值 記憶

1. 引言

每天，人們都會反復在兩種選擇之間做出決定：是將信息保留在短期記憶中（例如，記住10分鐘后把披薩從烤箱里拿出來），還是將其卸載到外部環境中（例如，設置一個10分鐘的鬧鐘）。關于認知卸載的研究已經探討了影響這些決策的因素（Gilbert, Boldt, Sachdeva, Scarampi, 和 Tsai, 2023；Risko 和 Gilbert, 2016）。認知卸載研究涉及的第二個問題與其對記憶的下游效應有關，包括外部提醒被意外移除的情況（Kelly 和 Risko, 2019a, 2019b, 2022；Sparrow, Liu, 和 Wegner, 2011；Storm 和 Stone, 2015）。該領域的研究涉及關于記憶、策略選擇和延展心智的理論問題。它還與如何優化個體對外部記憶工具的使用以及理解技術對記憶的影響等實踐問題相關。

認知卸載的研究揭示了一系列實證現象，其中一些已被反復驗證（詳見下文）。然而，這些現象背后的過程在機制層面上尚不清楚。本文旨在通過提出一個明確的認知卸載模型（并附上可重現所有模擬的代碼，下載地址為 https://osf.io/4uxm6/），為這些認知過程的機制性理解做出貢獻。基于此，本文認為基于價值的決策在認知卸載中起著核心作用，并可能解釋該領域的許多實證現象。

本建模工作的基本原則很簡單。首先，假設個體選擇將信息存儲在短期記憶中，是因為這樣做最終會帶來某種獎勵。其次，假設保留信息——無論是通過存儲在短期記憶中還是通過創建外部記錄——都會產生某種成本。這些成本因所選策略而異。與認知卸載相關的現象隨之而來，不過是成本/收益比較的簡單結果。

本文考慮的許多現象都通過 Dupont, Zhu 和 Gilbert（2022）的一項研究得到了說明。該研究作為待模擬的基本范式。Dupont 等人設計了一項任務，參與者使用觸屏平板或電腦鼠標，按順序將帶編號的圓圈拖到一個正方形的底部（圖1）。這樣圓圈就從屏幕上消失了。每次移除一個圓圈，就會出現一個新圓圈，繼續這個序列。例如，在屏幕上有六個標有1–6的圓圈的試次中，參與者會先拖動第一個圓圈到底部，然后在它的位置出現一個標有7的新圓圈。接著他們會拖動數字2到底部，然后被標有8的新圓圈取代，依此類推。圓圈的默認顏色是黃色，但有時當新圓圈首次出現在屏幕上時，會短暫顯示為藍色或粉色，兩秒后褪為黃色。這些顏色指示參與者，當他們按順序最終輪到該高亮圓圈時，應將其拖到左側（藍色）或右側（粉色），而不是底部。其中一側與比另一側更高的正確反應獎勵相關聯。在某些條件下，參與者能夠設置外部提醒，以幫助他們記住這些特殊圓圈。他們通過在顏色指令呈現時立即將需要記住的圓圈拖到左側或右側來實現這一點，這樣圓圈的位置就充當了最終應將其放置何處的外部提醒。在其他條件下，參與者必須僅依賴內部記憶來記住延遲的意圖，例如，僅記住數字7應拖到左側，而沒有任何關于此的外部線索或提醒。

Dupont 等人（2022）報告的主要發現如下：

1）當被迫依賴內部記憶時，高價值項目的準確性高于低價值項目（實驗1–3）。這驗證了基于價值記憶的一個基本原則：人們通常對與更高獎勵相關的項目有更好的記憶（參見 Knowlton 和 Castel, 2022的綜述）。

2）當允許設置提醒時，參與者對高價值項目的設置頻率高于低價值項目（實驗1）。

3）當允許提醒時，高價值和低價值項目的準確性都有所提高（實驗1）。

4）即使只卸載高價值項目，低價值項目的準確性仍然有所提高（實驗2–3）。這表明存在一種“認知溢出”效應，即一旦高價值項目不再占用記憶資源，記憶資源就會重新分配給低價值項目。與此相關的是，其他關于認知卸載的研究證明了“節省增強記憶”效應（Storm 和 Stone, 2015），即當參與者可以依賴對另一組項目的外部提醒時，他們對某些項目的記憶會得到改善。

5）當提醒被移除，參與者接受突擊記憶測試時，他們對高價值項目的記憶相對于從未設置提醒的條件有所降低。這對應了所謂的“谷歌效應”。當可信賴的提醒被移除，參與者出乎意料地被迫用內部記憶記住一個項目時，其表現比始終依賴內部記憶的條件更差（Eskritt 和 Ma, 2014；Henkel, 2014；Kelly 和 Risko, 2019a, 2019b, 2022；Soares 和 Storm, 2018, 2022；Sparrow 等人，2011）。

6）突擊記憶測試對低價值項目顯示出相反的模式。在高價值項目被卸載的條件下，參與者在突擊記憶測試中對低價值項目的記憶反而得到了改善。這導致了一種反向的價值效應。當參與者依賴自身記憶時，突擊記憶測試對高價值項目的表現優于低價值項目。但當他們為高價值項目設置提醒時，突擊測試顯示對低價值項目的表現優于高價值項目。這表明，一旦高價值項目被卸載到外部提醒，參與者會優先利用“空閑”的記憶容量去記住低價值項目。

1.1. 基于價值的決策方法

為了模擬這些發現，我們實現了一個簡單模型，該模型在記住信息所關聯的獎勵與成本之間進行權衡。這遵循了其他認知領域所采用的方法，例如認知控制的預期價值模型（Shenhav, Botvinick, 和 Cohen, 2013），該模型認為個體會在認知控制的收益與成本之間進行權衡。在 Dupont 等人（2022）使用的范式中，記住信息所關聯的獎勵以金錢報酬的形式被明確定義（例如，記住高價值項目得7美分；記住低價值項目得3美分）。但是，記住信息的成本是什么呢？本文提出的模型的關鍵原則是，這些成本在將項目存儲于內部記憶還是外部存儲之間是不同的。

根據這種方法，將項目存儲在外部存儲中的成本僅僅在于這需要額外的操作（例如，設置智能手機提醒所需的操作）。除了創建提醒所涉及的身體努力成本之外，所花費的時間也可以被視為一種成本（Gray, Sims, Fu, 和 Schoelles, 2006），隨后在需要時從外部存儲中檢索信息的努力也是如此。因此，與卸載相關的獎勵需要超過這一小額成本，卸載策略才會被選擇。本模型假設卸載的成本是恒定的（即，已經卸載了多少其他項目并不重要），并且卸載的收益也不受已放入外部存儲的其他項目數量的影響。這些假設可能并非嚴格成立，特別是當大量項目已被卸載或存儲容量非常有限時（例如，一小張紙），但此處將其作為一種簡化近似。

至于將項目存儲在內部記憶中，就額外運動動作的需求而言，這沒有即時成本。然而，存在機會成本。將一個項目存儲在內部記憶中可能會降低存儲額外項目的能力。這可以通過在需要存儲更多項目時準確性下降來檢測，正如使用本文所研究的范式版本所證明的那樣（Gilbert, 2015a）。然而，機會成本的概念并不一定意味著表現下降。機會成本可能僅僅因將工作記憶資源分配給某項任務的行為而產生，從而使這些資源無法用于其他機會；也可能因內部表征的維持可能干擾其他活動所需的表征而產生（Musslick 和 Cohen, 2021; Oberauer, Farrell, Jarrold, 和 Lewandowsky, 2016）。

根據這種方法，雖然記住信息所關聯的獎勵無論采用何種策略都是相同的，但內部記憶或外部卸載相關的成本是不同的。由于這些差異，上述每一個實證現象（以及下文描述的一些額外現象）都作為簡單的推論而產生。

2. 模型

對 Dupont 等人（2022，實驗3）的任務進行了如下模擬。該任務存在16種可能的記憶策略，具體操作為四個正交的二值（是/否）決策：A）將高價值項目存儲在內部記憶中？B）將低價值項目存儲在內部記憶中？C）為高價值項目創建提醒（如果允許）？D）為低價值項目創建提醒（如果允許）？因此，該模型可以選擇通過將特定項目存儲在內部記憶或創建外部提醒來記住它。它也可以同時選擇這兩種策略（存儲在內部記憶的同時也創建外部提醒；關于支持這種雙存儲策略的實證證據，見 Murphy, 2023），或者兩者都不選（根本不存儲該項目）。該模型的運行方式是隨機選擇這16種策略之一，并監控所獲得的獎勵。這一過程在多個輪次中重復進行，然后選擇與最高獎勵相關聯的策略。這是一種簡單的蒙特卡洛強化學習形式（Sutton 和 Barto, 2018）。

每個試次包含3個高價值項目和3個低價值項目。這基于 Dupont 等人（2022，實驗3）的程序，在該程序中，屏幕上同時呈現12個項目，其中25%是高價值目標，25%是低價值目標。Dupont 等人（2022）進行了兩個實驗，其中高價值和低價值目標分別價值10分和1分，以及第三個實驗，它們分別價值7分和3分。本文使用中間的一組數值，8分對2分，以便所有模擬都使用相同的參數。在每個試次中，所有六個項目都被呈現，并且根據該試次隨機選擇的策略，每個項目被存儲在內部記憶和/或卸載到外部提醒。每當一個項目被卸載，該試次的總獎勵就會減少一個小的常量（見下文“參數設置”部分）。這模擬了物理創建提醒的小額成本。

編碼階段之后，模擬一個記憶測試。對于每個被卸載的項目，其被記住的概率為98%。這是 Kirk, Robinson 和 Gilbert（2021）收集的實證數據中，參與者在被迫使用卸載策略時達到的準確率。對于每個存儲在內部記憶中的項目，其被記住的概率取決于存儲在記憶中的項目總數。該模型模擬了兩種情況：要么3個項目被存儲在記憶中（如果僅編碼低價值或高價值項目），要么6個項目（如果所有項目都被編碼）。因此，這里只需要兩個參數設置。6個項目時的準確率設為75%，這基于 Chiu 和 Gilbert（2023）的實證數據，該數據測試了類似任務，在記憶負荷為6個項目時獲得了74%的準確率。同一項研究在2個和4個項目時獲得的準確率分別為96%和86%（平均值：91%），這與 Gilbert（2015a，實驗1b，無中斷條件）在記憶負荷為3個項目時發現的89%準確率相當。因此，3個項目時的準確率設為90%。如果一個項目被記住（通過任一策略，或兩者同時），則收集其關聯的獎勵。

模擬通過運行50個試次來執行，每次隨機選擇一種策略。然后選擇在這50個輪次中平均獎勵最高的策略，并記錄與該策略相關的模型行為表現。因此，這是一個獎勵最大化模型，而非準確率最大化模型；如果某種策略能產生更高的獎勵，它有時會接受平均準確率較低的策略。采樣的輪次數相對較少，加上記憶檢索的概率性質，導致模型的表現存在一定變異性，而并非總是選擇最優策略。這也允許評估如果不是最優策略，其他哪些策略可能被選中。該過程被平均重復1,000,000次，以獲得選擇每種策略的可能性以及模型對高價值和低價值項目記憶準確率的精確估計。

在這種蒙特卡洛強化學習形式中，學習最優策略的唯一方法是通過隨機采樣策略并監控每種策略獲得的獎勵。當然，人類的策略選擇不僅僅基于試錯學習，還基于口頭指令和前瞻性。然而，即使人類策略選擇基于更復雜的過程，蒙特卡洛模擬的結果也能為了解哪些策略是最優或接近最優的提供信息。

2.1. 參數設置

參數完整列表如表1所示。除一個例外，這些參數要么基于 A）Dupont 等人（2022，實驗3）實驗程序中可直接觀察的要素，B）參與者執行可比任務的實證數據，要么 C）不影響結果的定性模式。如上所述，需要記憶的項目數量及其相關價值基于 Dupont 等人的實驗程序。3個和6個項目時的內部記憶準確率基于 Gilbert（2015a）和 Chiu 與 Gilbert（2023）的數據；使用提醒時的準確率基于 Kirk 等人（2021）。在選擇最佳策略之前采樣的總輪次數（50）是任意設定的。較低的數值導致表現變異性更大；較高的數值導致變異性更小（極限情況下每次都會選擇唯一的最優策略），但這不會改變結果的定性模式，只會改變變異性。本研究的目的并非對 Dupont 等人（2022）的結果進行精確的定量擬合，而是為了復制一組定性現象（其中許多也已在其他認知卸載研究中被報道），以證明一個簡單的基于價值的決策過程可能解釋這些現象。

唯一一個確實影響結果定性模式、且無法從實驗程序或實證數據中直接觀察到的參數，是卸載成本：即每次卸載一個項目時施加的恒定懲罰。該參數的影響將在下文探討。

運行模擬的完整代碼可在 https://osf.io/4uxm6/找到。此外，表1中列出的參數可用于計算與每種策略相關的預期獎勵（示例見下文）。

3. 模擬

3.1. 如果不允許卸載，高價值項目的記憶表現優于低價值項目

首先，模型在不允許卸載項目的條件下運行，因此只有四種策略可行：將高價值項目存儲在內部記憶中、將低價值項目存儲在內部記憶中、將兩種類型的項目都存儲在內部記憶中、或兩者都不存儲。結果如圖2所示。該模型將高價值項目編碼入記憶的可能性高于低價值項目，并且準確率也反映了這一點。這是將額外項目存儲在內部記憶中所產生機會成本的結果。考慮在每個試次中記住3個高價值和3個低價值項目的兩種可能策略：A）僅編碼高價值項目；B）同時編碼高價值和低價值項目。如果模型僅編碼高價值項目，它有90%的概率記住這些項目（需記住3個項目）；而如果它同時編碼高價值和低價值項目，其記憶準確率會降至75%（需記住6個項目）。因此，與僅編碼高價值項目的策略相比，編碼低價值項目所帶來的額外獎勵需要與由此產生的機會成本相權衡，因為所有項目的記憶準確率會從90%降至75%。

在模型的標準參數設置下，僅編碼高價值項目的策略每個項目產生 90% × 8 = 7.2 分。同時編碼高價值和低價值項目的策略，每個高價值項目產生 75% × 8 = 6 分，每個低價值項目產生 75% × 2 = 1.5 分，因此每對高價值和低價值項目共產生 7.5 分。因此，最優策略是同時編碼高價值和低價值項目，但僅編碼高價值項目的策略也能產生相當的獎勵。鑒于模型是概率性運行的，記憶表現中的隨機波動意味著在某些運行中，同時編碼高價值和低價值項目的策略（平均獎勵：7.5）將產生最大獎勵，而在另一些運行中，僅編碼高價值項目的策略（平均獎勵：7.2）將產生最大獎勵。在這兩種情況下，模型都編碼了高價值項目，唯一的區別在于是否也編碼了低價值項目。僅編碼低價值項目的策略平均只有1.8分，低得多，因此該策略幾乎必然產生比其他兩種策略更低的獎勵。因此，在所有運行中取平均，模型編碼高價值項目的可能性（無論其是僅編碼高價值還是同時編碼高價值和低價值，它總是編碼高價值項目）高于編碼低價值項目的可能性。需要注意的是，當價值差異更加極端時（例如，Dupont 等人，2022，實驗1–2中使用的10分對1分），最優策略是僅編碼高價值項目而忽略低價值項目，因為編碼低價值項目帶來的額外獎勵不足以抵消記住高價值項目概率的下降。這展示了該模型是獎勵最大化而非準確率最大化這一原則。

3.2. 當允許卸載時，參與者優先卸載高價值項目

接下來，模型在允許所有記憶策略的條件下運行（圖3）。高價值項目的卸載率高于低價值項目（正如 Dupont 等人，2022，實驗1所發現的）。這是因為卸載高價值項目（價值8分）的收益超過了卸載成本（1分）。一旦高價值項目被卸載，當低價值項目可以免費存儲在內部記憶中時，就沒有必要再卸載它們（每個項目成本1分）。因此，最優策略是卸載高價值項目，并用內部記憶記住剩余的低價值項目。這比卸載低價值項目而將高價值項目存儲在內部記憶中能獲得更高的預期獎勵，因為卸載的準確率（98%）高于內部記憶（90%或75%，取決于負荷）。因此，更高價值的項目應優先采用更準確的策略。

3.3. 當允許卸載時，準確率提高

比較圖2和圖3可以看出，在允許卸載的模擬中準確率更高。這是額外記憶策略可用性的直接結果，該策略可以提高記住每個項目的幾率。

3.4. 即使只卸載高價值項目，低價值項目的準確率仍然提高

Dupont 等人（2022）假設，低價值項目準確率的提高不僅可能是因為為這些項目設置了提醒，還可能因為一旦高價值項目被卸載到提醒，記憶容量會重新分配給低價值項目。為了驗證這一點，Dupont 等人（2022，實驗2）進行了一項實驗，參與者只被允許卸載高價值項目。這導致了低價值項目準確率的提高，支持了“溢出”解釋。為了模擬這個實驗，我們進行了一次模擬，其中允許卸載高價值項目的選項，但不允許卸載低價值項目（圖4）。與圖1比較顯示，模型對低價值項目的準確率有所提高，正如 Dupont 等人發現的那樣，即使沒有為這些項目設置提醒。策略選擇數據也顯示，當允許卸載高價值項目時，模型更有可能將低價值項目編碼到內部記憶中。這可以解釋觀察到的結果。一旦高價值項目被卸載，再將其存儲在內部記憶中幾乎沒有額外好處：提醒幾乎肯定已經有效，因此在內部記憶中重復存儲它帶來的額外獎勵很小。但是，不必要地將高價值項目存儲在內部記憶中會帶來明顯的機會成本。因此，最優策略是卸載高價值項目，并將內部記憶用于低價值項目。否則低價值項目可能被遺忘，因此以這種方式使用內部記憶會帶來一些額外的獎勵。

3.5. 當允許卸載時，低價值項目的突擊記憶準確率提高

為了進一步探究當高價值項目被卸載時，內部記憶可能從高價值項目“溢出”到低價值項目的可能性，Dupont 等人（2022，實驗3）進行了另一項實驗，其中提醒被意外從屏幕上移除，參與者必須僅依賴內部記憶。在這些突擊記憶測試中，在那些為高價值項目設置了提醒的條件下，參與者對低價值項目的記憶表現更好。這一點通過照常訓練模型來模擬，但評估其準確率時僅參考存儲在內部記憶中的項目，而忽略它們是否已被卸載（圖5）。結果再現了Dupont等人觀察到的模式。由于一旦高價值項目被卸載，最優策略是將內部記憶重新分配給低價值項目，這意味著當高價值項目被卸載時，低價值項目的突擊測試準確率得到了提高。這一發現，即卸載一組項目可以改善對另一組未被卸載項目的記憶，對應于“節省增強記憶”效應（Runge, Frings, 和 Tempel, 2019; Storm 和 Stone, 2015）。

需要注意的是，只有當外部存儲可靠時，將內部記憶重新分配給低價值項目并依賴外部存儲來存儲高價值項目才是最優的。否則，這是一種有風險的策略。這可以通過將模型對已卸載項目的準確率從98%降低到50%來模擬不可靠的存儲來簡單證明。在這種情況下，圖5所示的節省增強記憶效應會顯著減小。圖5顯示節省增強記憶效應為38%（當允許高價值卸載時，低價值準確率從50%提高到88%），而當外部存儲不可靠時，該效應降至僅12%（低價值準確率從50%提高到62%）。與此一致的是，Storm 和 Stone（2015）在外部存儲不可靠時未檢測到節省增強記憶效應。因此，除了模擬節省增強記憶效應本身之外，本模型還模擬了當外部存儲不可靠時該效應的減弱。

3.6. 當允許卸載時，高價值項目的突擊測試準確率降低

圖5還顯示，一旦高價值項目被卸載，其突擊測試準確率就會降低。一旦一個項目被卸載到高度可靠的提醒中，再將其在內部記憶中重復存儲幾乎沒有好處，而編碼替代信息反而可以獲得更大的獎勵。這對應于“谷歌效應”：將信息存儲在外部存儲中可能會損害對已卸載信息的內部記憶（Eskritt 和 Ma, 2014; Henkel, 2014; Kelly 和 Risko, 2019a, 2019b; Sparrow 等人，2011）。由于這種效應以及前一種效應，當允許卸載時，模型的突擊測試準確率對低價值項目高于高價值項目。換句話說，當不允許卸載時觀察到的高價值信息內部記憶的標準增強效應（Knowlton 和 Castel, 2022），在允許卸載時可能會被逆轉。

3.7. 當有更多項目需要記憶時，人們更傾向于卸載

除了Dupont等人（2022）報告的現象外，該模型還再現了另一個額外發現，即記憶負荷較高時卸載率會增加。例如，Gilbert（2015a）發現，當參與者需要記住三個項目時，其卸載率遠高于記住一個項目時（類似發現見 Risko 和 Dunn, 2015）。為了模擬這種效應，將模型在標準模擬中（每種條件下3個項目）的表現與每種條件下僅1個項目的新模擬進行了比較（圖6）。1個項目時的記憶準確率設為95%（基于 Gilbert, 2015a, 實驗1b），2個項目時的準確率設為92.5%，基于1個項目和3個項目準確率的中間值。在降低記憶負荷條件下的卸載率（高價值：14%；低價值：14%）遠低于標準記憶負荷下的模擬（高價值：54%；低價值：31%）。對此的解釋是，將大量項目編碼到內部記憶中會導致準確率大幅下降。與其接受這種準確率的下降，不如采用高度可靠的卸載策略，盡管該策略有微小成本，但這才是理性的。相比之下，少量項目可以在準確率幾乎沒有下降的情況下被記住。因此，當記憶負荷較低時，卸載的成本并不超過其收益。

3.8. 卸載成本

如上所述，模型中有一個自由參數，該參數無法基于實驗設計或相關實證數據以原則性的方式進行設置。這就是每次卸載一個項目時，由于需要額外的物理動作而施加的恒定成本。為了研究該參數的影響，我們在從0（完全沒有卸載成本）到2（卸載成本完全抵消低價值項目帶來的獎勵）的完整范圍內進行了模擬。結果如圖7所示。這表明卸載率隨成本增加而降低。Chiu 和 Gilbert（2023）在一項操縱設置提醒所需物理努力程度的研究中也實證觀察到了這種模式。

上述模擬的關鍵現象在幾乎所有參數設置下都一致地出現：模型優先卸載高價值而非低價值項目，并在內部記憶中編碼低價值而非高價值項目。這種模式在大約90%的參數范圍內都能看到。唯一例外的情況是當卸載成本（約1.8或更高）接近完全抵消低價值項目的價值（2）時。在這種情況下，模型不再符合其本應模擬的情境，因為卸載率極低。Dupont 等人（2022，實驗3）表明，雖然當允許卸載時（平均卸載率為0.61），參與者對低價值項目的內部記憶優于高價值項目，但當不允許卸載時（即卸載率為零），這種模式會逆轉。因此，該模型在90%的可能參數設置下再現了 Dupont 等人（2022，實驗3）卸載條件下觀察到的模式。然后，在極端的10%參數設置下，這種模式發生翻轉，此時模型的卸載率更接近 Dupont 等人的無卸載條件，而該條件在相關指標上也顯示出相應的翻轉。

圖7中一個可能令人驚訝的特點是，一旦卸載成本達到約2，模型就很少卸載低價值或高價值項目。為什么當卸載成本遠低于此（高價值項目價值8分）時，模型不卸載高價值項目呢？原因是，卸載帶來的收益（準確率98%，相比之下內部記憶為90%或75%，具體取決于編碼了多少項目）即使被相對適中的卸載成本也可能完全抵消。這可能反映了模型的簡化性質，該模型沒有抑制最大化填充短期記憶的動機——如果這樣做相比卸載策略能帶來略微更高的獎勵的話。人類參與者確實有抑制這種行為的因素：短期記憶能力在任何時候都可以用于許多目的，不僅僅是記住實驗中呈現的刺激，還包括任務無關的思維。這意味著卸載策略可能更可取，因為它允許進行額外的心理活動，即使在實驗任務中帶來適度的成本（見 Sachdeva & Gilbert, 2020）。因此，如果人類參與者參與了超出實驗任務嚴格要求的認知過程，他們當然可能會偏離圖7所示的最優策略。特別是，如果在某一項任務中卸載超出嚴格最優水平，能夠帶來執行另一項額外任務的能力上的好處，那么這也許是有益的（關于卸載這種跨領域影響的證據，見 Runge 等人，2019）。

3.9. 努力敏感性與卸載成本

Chiu 和 Gilbert（2023，實驗2）研究了設置提醒的物理成本如何影響卸載率。該研究的參與者在三種負荷水平下執行記憶任務：2個項目、4個項目和6個項目。當參與者被迫使用內部記憶時，平均準確率分別為95%、89%和73%。在不同的條件下，參與者可以選擇設置低努力提醒（需要最少的物理努力）或高努力提醒（需要額外的15次鼠標點擊）。與當前建模結果一致，參與者在更高的記憶負荷下設置了更多提醒（參見圖6）。他們在低努力條件下也設置了更多提醒，此時卸載成本較低（參見圖7）。該實驗還產生了一個反直覺的結果。如原始研究預注冊中所述，研究者不僅預測高努力提醒會抑制卸載，而且預測這種抑制效應在記憶負荷較低時（尤其是2個項目條件）會最強。這是因為在最低記憶負荷下提醒最不必要，因此研究者推斷參與者在此負荷下應對額外物理努力最反感。與這一預測相反，努力操控在中等記憶負荷（4個項目）條件下效應最強，而非2個項目或6個項目條件。

為了測試模型是否再現了任務難度與卸載努力敏感性之間的非單調關系，以下模擬將模型在標準卸載成本（1分）下的表現與高成本條件（2分）下的表現進行了比較。Chiu 和 Gilbert（2023）并未操控項目價值，因此本次模擬僅向模型呈現單一價值的項目（8分，即高價值，因為在低成本條件下，低價值項目的獎勵將完全被卸載成本抵消）。模型并非像 Chiu 和 Gilbert（2023）的研究那樣呈現2、4和6個項目，而是呈現單個項目，同時將內部記憶準確率在0.55到0.95的范圍內變化，其中0.55代表非常困難的任務（準確率低，例如高記憶負荷），0.95代表非常容易的任務（準確率高，例如低記憶負荷）。這使得可以在廣泛的難度水平上監控其表現，而不僅僅對應于 Chiu 和 Gilbert（2023）測試的記憶負荷的三個點。呈現的絕對項目數量除了通過對準確率水平的影響（可直接操控）之外，并不影響模型的表現。這就是為什么項目數量（不直接影響模型表現）未被操控，而是模擬比較了模型在廣泛準確率水平（可對應于不同記憶負荷下的表現）上的表現的原因。

如圖8所示，模型顯示了預期的內部準確率效應（任務越難，卸載越多）和卸載成本效應（成本越低，卸載越多）。此外，成本敏感性（低努力和高努力提醒之間卸載率的差異）呈現倒U型模式，在任務難度處于中等水平時效應最大。因此，該模型捕捉了 Chiu 和 Gilbert（2023）反直覺且出乎意料的發現，即在對應于4個項目條件的準確率水平上，成本敏感性高于對應于2個或6個項目條件的準確率水平。其原因在于，在最高難度水平下，無論成本如何，最優策略都是卸載。同樣，在最低難度水平下，無論成本如何，最優策略都是使用內部記憶。因此，在這些難度水平上，卸載成本對最優策略的影響很小，盡管由于模型的隨機性仍會有一些變化。在中等難度水平上，決策更為微妙地平衡，因此卸載成本對決定最優策略具有更大的影響。

3.10. 個體差異

多項研究報告了內部記憶能力與卸載率之間的負相關，因為記憶能力較差的人更傾向于卸載（Gilbert, 2015b）。同樣，測量提醒設置策略最優性的研究發現，對提醒的客觀需求（主要由低記憶能力決定，這導致使用提醒時表現有更大的提升）與卸載的可能性相關（Gilbert 等人，2020）。圖8的左面板可視為模擬了這一發現，因為在兩種努力條件下，較低的準確率都與較高的卸載率相關。因此，客觀記憶準確率與卸載率之間的負相關關系可以被視為既捕捉了與實驗操控（如記憶負荷）相關的個體內變異，也捕捉了記憶能力的個體間變異。

4. 討論

本文提出了一個簡單的強化學習模型，將認知卸載描述為基于價值決策的一種形式。該模型實現了兩個關鍵原則：首先，將項目存儲在短期記憶中會產生機會成本，因為其容量有限。這意味著存儲一個項目會損害一個人存儲額外項目的能力。相比之下，將項目卸載到外部存儲中，由于創建提醒所涉及的時間和身體努力，會產生較小的成本，但不會產生機會成本。這是因為將一個項目卸載到外部存儲中通常對該存儲容納額外項目的能力影響可以忽略不計。一個人在決定是將項目存儲在短期記憶中還是外部提醒中（或兩者兼有）時，可以被視為在權衡記住該項目的價值與這兩種形式的成本。如上所示，該領域報道的多種實證現象都作為這種基于價值決策形式的直接結果而出現。特別是，該模型模擬了：1) 無輔助記憶對高價值項目優于低價值項目；2) 高價值項目的卸載率高于低價值項目；3) 允許卸載時準確率更高；4) 卸載一組項目對另一組項目記憶的益處（“認知溢出”/“節省增強記憶”）；5) 當提醒不可靠時，節省增強記憶效應減弱；6) 已卸載項目的突擊測試準確率降低（“谷歌效應”）；7) 突擊記憶測試中可能出現反向價值效應（對低價值項目記憶更優）；8) 記憶負荷越高，卸載率越高；9) 卸載成本越高，卸載率越低；10) 對卸載成本最敏感的并非任務難度最高或最低時，而是處于中等難度時；11) 記憶能力較差的個體卸載更多。

4.1. 記憶的預期價值

將認知卸載描述為基于價值決策的一種形式，有助于將該研究領域與其他同樣適用類似方法的領域聯系起來。與認知卸載相關的現象隨后可被視為源于適用于多個認知領域的通用原則的結果，而非卸載所特有。例如，Sharot, Rollwage, Sunstein 和 Fleming（2022）提出了一種分析，將人們持有特定信念或改變它們的可能性視為一種基于價值的決策形式，該分析基于該信念的效用（不一定與其真實性相對應）。另一個著名的模型類似地將認知控制過程的參與概念化為基于“控制預期價值”（EVC；Shenhav 等人，2013；Shenhav, Cohen, 和 Botvinick, 2016）的基于價值決策的一種形式。根據該模型，認知控制可以因目標達成而產生獎勵，但它也會帶來成本（包括機會成本）。因此，如果獎勵超過成本，一個人將傾向于參與認知控制。本模型可被視為EVC模型的擴展。EVC模型側重于認知上費力的受控處理過程參與背后的決策過程，特別強調心理努力的成本和收益（Shenhav 等人，2013，2017）。本研究通過明確模擬個體在決定不僅是否投入心理努力，還包括投入身體努力作為實現相同認知目標的替代手段時所需要權衡的獨特成本和收益，對此進行了擴展（相關研究見 Holroyd 和 McClure，2015）。

這種對認知卸載的看法可以加深關于認知技術可能帶來的利弊的辯論。認知卸載研究中的一個被充分復制的發現是，當人們預期能夠依賴外部提醒時，他們對已卸載信息的內部記憶會降低（Eskritt 和 Ma, 2014；Henkel, 2014；Kelly 和 Risko, 2019a, 2019b, 2022；Soares 和 Storm, 2018, 2022；Sparrow 等人，2011）。這種“谷歌效應”被一些人解釋為認知卸載損害記憶的證據（Baron, 2021）。然而，這一證據并未表明卸載會損害人們記住的能力。它可以被更簡潔地解釋為表明，一旦一個項目被卸載到外部存儲，將其存儲在內部記憶中的價值就會降低（Cecutti, Chemero, 和 Lee, 2021）。因此，將該項目存儲在內部記憶中的價值不再超過（機會）成本。因此，卸載與其說是降低了記住的能力，不如說是降低了記住的價值。

將認知卸載視為基于價值決策的一種形式，也有助于闡明其潛在的認知機制。最近的研究揭示了谷歌效應背后的過程，表明一旦項目被外部存儲，人們就不再采用編碼策略來維持其在內部記憶中的存儲（Kelly 和 Risko, 2019a, 2022）。這為“負效應”提供了證據，即一旦項目被卸載，就不再對其應用策略性過程。人們也可能推測是否存在“正效應”，即主動“從記憶中清除對象”的過程（Henkel, 2014）。然而，目前尚不清楚人們在多大程度上會主動抑制或從記憶中移除已被外部存儲的項目（如果確實如此的話）。與上述建模結果一致的另一種觀點是，個體不斷為內部記憶選擇最高價值的信息（Grünbaum, Oren, 和 Kyllingsb?k, 2021）。由此，谷歌效應可以簡單地解釋為在內部記憶中重復存儲一個也已被外部存儲的項目的價值降低。在這種情況下，無需假設存在一個從內部記憶中主動移除的額外過程。

4.2. 努力與元認知

除了解釋人們關于是否卸載項目和/或將其存儲在內部記憶中的決策之外，本文所勾勒的認知卸載解釋還可能解釋這兩種策略的現象學特征。根據一些理論解釋，心理努力的現象學與諸如工作記憶維持等認知過程相關，這些過程容量有限，并且可能被用于多種不同的目的（Kurzban, 2016；Kurzban, Duckworth, Kable, 和 Myers, 2013）。因此，這些過程會產生機會成本：它們被用于一項活動的程度，會限制它們用于其他機會。這種解釋可以說明為什么人們傾向于避免認知上費力的活動（Kool 和 Botvinick, 2018；Kool, McGuire, Rosen, 和 Botvinick, 2010）：與這些活動相關的獎勵需要與機會成本相權衡。相比之下，相對領域特異性的過程，如視覺處理所涉及的過程，可能具有很大的計算復雜性，但它們不會產生機會成本，因為這些過程不能重新用于任何其他目的。因此，視覺處理不會讓人感到認知費力，而工作記憶維持則會。

認知努力的機會成本模型與本文提出的建模方法相契合，該方法實現了與內部記憶相關但與非外部卸載策略相關的機會成本。在內部記憶中存儲一個項目可能會妨礙存儲另一個項目，而創建一個外部提醒則不太可能影響一個人創建額外提醒的能力。這可以解釋為什么將項目存儲在內部記憶中比將其卸載到外部提醒更讓人感到費力。這反過來又可以解釋為什么人們傾向于避免使用內部記憶，而傾向于使用感知策略（Ballard, Hayhoe, Pook, 和 Rao, 1997），這是避免認知努力這一普遍傾向的一個例子。在認知卸載領域，Gilbert 等人（2020）表明，參與者往往偏好卸載策略，即使他們使用內部記憶本可以表現更好并獲得更多金錢獎勵（另見 Westbrook, Kester, 和 Braver, 2013）。此外，Sachdeva 和 Gilbert（2020）表明，這種對卸載的偏好會被一種旨在增加認知努力投入的干預措施（額外金錢獎勵）所減弱。因此，Sachdeva 和 Gilbert（2020）得出結論，驅動偏好卸載而非內部記憶的一個因素是避免認知努力的傾向。這與本模型一致，其中內部記憶與機會成本相關，而外部提醒則不然。

影響認知卸載的另一個因素是元認知（Gilbert, 2015b；Hu, Luo, 和 Fleming, 2019；Risko 和 Dunn, 2015；綜述見 Gilbert 等人，2023；Risko 和 Gilbert, 2016）。例如，人們在依賴內部記憶還是外部提醒之間的決策，可以通過他們對自身記憶能力的信心來預測，即使在控制了客觀記憶能力之后，或者在信心與能力無關的情況下也是如此（Gilbert, 2015b）。信心也能預測個體相對于其最優策略，對外部提醒與內部記憶的偏好偏向（Gilbert 等人，2020；Kirk 等人，2021）。本文提出的模型并未捕捉這種影響，原因很簡單，因為它沒有模擬任何元認知過程。它僅基于試錯策略探索來選擇策略，而不是形成任何關于自身能力的內部表征；它沒有關于自身或任務結構的內部表征。換句話說，它實現了一種無模型而非基于模型的強化學習形式（Sutton 和 Barto, 2018）。未來的工作可以使用基于模型的方法將元認知表征納入本文提出的模型中（參見 Hu 等人，2019）。這或許可以解釋元認知對認知卸載的影響。

4.3. 未來方向

除了對元認知過程進行建模的可能性之外，未來的工作或許還能模擬工作記憶維持的動態過程，而不是采用簡化方法——即有限數量的槽位，每個槽位對應一個平均準確率水平。本文提出的建模方法可用于模擬個體差異（例如，在價值和機會成本方面）、這些價值和成本的動態學習，以及其他因素，如決策噪聲。測試這些參數與年齡、個性或跨診斷癥狀維度等因素之間的關系也可能是有用的（Wise, Robinson, 和 Gillan, 2023）。例如，老年人——尤其是那些自愿參加心理學實驗的人——可能更傾向于測試自己的內部記憶能力，即使根據任務的獎勵結構，卸載策略更優（參見 Scarampi 和 Gilbert, 2021；Tsai, Scarampi, Kliegel, 和 Gilbert, 2023）。計算模擬的數據也可能與源自神經影像學的認知卸載神經關聯聯系起來（例如 Boldt 和 Gilbert, 2022；Geissler 等人，2023；Landsiedel 和 Gilbert, 2015）。

本模型還可以解決關于記憶預期價值的時間動態問題。人們在更新工作記憶中當前表征的信息價值以及相關機會成本方面有多靈活？這一更新過程背后的機制是什么？這又如何與正在進行的、為持續維持而進行的信息選擇相關聯（關于工作記憶領域的相關工作，參見 Atkinson, Allen, Baddeley, Hitch, 和 Waterman, 2021）？此外，人們如何彌合將信息維持在工作記憶中的決策與后續獎勵交付之間的時間差距，以便在未來選擇最佳策略？針對這些問題的實證研究，都可以通過明確建模來獲得潛在指導。

最后，不同任務所需的各種內部認知需求以及緩解這些需求的卸載策略仍有待探索。本工作中模擬的意圖卸載任務更接近于回憶范式，而非再認范式。

對于再認和/或長時記憶任務，最優的卸載策略很可能有所不同，這是因為記憶準確率的水平不同，以及記憶集大小或保持間隔等因素的影響。不同的提取任務還可能在個體了解自身提取限制的機會方面存在差異。還應指出的是，價值對記憶的影響是通過不同的自動過程與策略性過程來調節的，而這些過程的影響取決于提取任務（參見 Knowlton 和 Castel，2022 的綜述）。當使用不同的實驗范式進行測試時，這可能會影響價值與認知卸載之間的關系。

此外，在記憶領域內支配認知卸載的原則是否也適用于其他形式的卸載，例如使用 GPS 而非內部導航能力，甚至包括支持各種認知需求的新興技術（如大語言模型等生成式 AI 工具），仍有待觀察。

4.4. 結論

總之，本研究提出，基于價值的決策的簡單機制可能解釋認知卸載領域報道的許多現象。當然，這并不一定意味著這些機制實際上反映了人類表現背后的機制。毫無疑問，現實世界中的認知卸載會涉及復雜的額外機制。通過在此指定一些最小機制來模擬基本現象，本模型可能有助于闡明解釋人類表現還需要哪些額外機制。本模型也可能指導未來的實證工作，以檢驗基于價值的決策方法對于理解認知卸載的效用。例如，從本模型可能推導出的一個預測是，人們決定是否卸載當前表征的信息時，不僅應基于該信息的價值，還應基于即將到來信息的預期價值。如果記住即將到來的信息會更有回報，那么將當前信息存儲在內部記憶中的機會成本就會增加。因此，人們應該更傾向于卸載當前信息。

基于本文提出的簡單模型，可以勾勒出一個關于認知卸載的最小模型，如下所示：記憶策略（卸載或內部記憶）的選擇可能基于標準的強化學習機制，在存儲項目的關聯獎勵與策略特定成本之間進行權衡。如果一個項目被卸載，其對記憶的下游影響將源于一旦項目已被外部存儲，將其維持在內部記憶中的邊際價值降低。這兩種現象都不需要假設卸載特定機制；它們可以被視為源于領域通用的強化學習機制（用于策略選擇）和基于價值選擇項目進入短期記憶的過程（用于下游影響）。將已卸載項目從內部記憶中“清除”的過程，可能僅僅是對其持續復述或維持的價值進行下調的過程。未來的工作可以研究這些領域通用機制對于理解認知卸載的充分性，并評估需要哪些額外的領域特定機制（如果有的話）來捕捉相關的實證現象。

原文鏈接：https://www.sciencedirect.com/science/article/pii/S0010027724000696