揭示循環神經網絡計算能力背后的結構設計原則

揭示循環神經網絡計算能力背后的結構設計原則

Identifying structural design principles shaping thecomputational abilities of recurrent neural networks

https://arxiv.org/pdf/2606.23874

摘要

理解神經網絡的架構如何塑造其執行的計算，是神經科學和機器學習中的一個核心挑戰。盡管特定的電路架構已與特定的網絡計算聯系起來，并且已經發現了廣泛網絡類別表達能力的理論界限，但我們仍然缺乏將有限網絡的結構與其計算能力聯系起來的普遍原則。在這里，我們通過訓練大量不同的網絡來計算大量布爾函數，將循環神經網絡的計算能力表征為其連接性的函數。對于小型網絡，我們構建了完整的“網絡-函數”性能“目錄”，這揭示了計算能力在不同架構之間差異很大，大多數網絡表現出較差的性能，并且大多數函數很難計算。然而，我們表明，在網絡中擁有局部的 2-環和 3-環能顯著增強其計算能力，并且具有這些環的網絡通常是能夠解決特定函數的最小架構。我們進一步表明，一小部分結構統計數據可以準確預測網絡的性能。將我們的分析擴展到大型網絡表明，典型的網絡甚至無法逼近隨機選擇的函數。令人驚訝的是，向網絡中添加少量稀疏連接的受生物學啟發的中間神經元會顯著增加計算能力。與小型網絡一樣，添加短環提高了網絡的能力，其表現優于無環或可達性匹配的對照組。因此，我們的結果將局部環確定為將神經連接與計算能力聯系起來的設計原則，并提供了一個通用框架來探索計算網絡中的結構-功能關系。

1 引言

真實世界網絡的架構通常展現出反映其功能設計或發育過程的結構。例如，冪律或對數正態度分布常見于生物、社會或語言網絡中，賦予其對錯誤和故障的魯棒性 [1, 2]。這些結構可以通過不同的、相對簡單的發育過程來解釋，如偏好依附、空間分支和競爭 [3, 4]。同樣，在生物和工程網絡中，小型子網絡“模體”（motifs）的出現頻率遠高于隨機預期 [5]，并且已被與特定的計算角色聯系起來 [6]。生物神經網絡 [7, 8] 和人工神經網絡 [9, 10] 所執行的卓越計算，以及它們在監督 [11]、無監督 [12] 或強化學習 [13, 14] 中的學習能力，使它們成為研究網絡結構與其計算能力之間關系的特別有吸引力的系統。

神經回路詳細連接圖譜（或稱“連接組”，connectomes）的重建 [15, 16, 17] 現在使得探索神經回路的精細結構與其可能執行的功能之間的關系成為可能 [18, 19]。雖然在少數情況下，架構與功能之間的關系已被映射和理解 [20, 21, 22]，但大多數回路并沒有反映功能的清晰結構設計或對稱性；雖然模擬特定的連接組可能在特定情況下反映回路的功能 [23, 24]，但這些并不能提供對這些映射的普遍理解。令人驚訝的是，神經回路架構的生成模型表明，它們可能由少量的生物和物理特征來解釋 [25, 26, 27, 28]，但目前尚不清楚這些構建模塊如何影響網絡能夠學習執行哪些計算任務，或者某些結構屬性如何增強計算性能。

與生物神經網絡典型的循環、稀疏架構及其能量效率相比，受真實神經網絡啟發的人工神經網絡通常非常不同。特別是，許多這些網絡依賴于高度前饋（feed-forward）的架構，其關鍵結構屬性是網絡的深度和層的寬度、神經元的激活函數以及專門的層結構，如全連接層、卷積層或注意力層?；A理論工作表明，具有指數寬度的前饋神經網絡可以逼近任何連續函數 [29]，以及電路能計算什么的下界和上界 [30]，這些甚至已被擴展到某些神經網絡模型 [31]。此外，深度在決定神經網絡的能力方面已被證明在經驗和理論上都發揮作用 [32, 33, 11]。PAC學習 [34] 等理論框架試圖回答人工神經網絡能夠學習逼近什么。然而，這些本質上大多是漸近的結果，并不能直接轉化為有限網絡的局部屬性如何決定其能力和表達力。對于在許多神經回路中普遍存在的循環網絡（recurrent networks）而言，情況尤其如此 [35, 36]，雖然它們的計算能力在理論和經驗上都得到了探索 [37, 38, 39]，但這些方法是從動力學的角度而非連接結構的角度來表征計算的。

對于特定類別的神經元，即組合抑制閾值線性網絡（combinatorial inhibitory threshold-linear networks），網絡動力學的性質已被證明可以從網絡的結構中預測出來 [40, 41]。然而，這些結果僅關注網絡動力學的性質，而沒有解決學習詳細計算任務的挑戰，且尚未推廣到其他類別的神經元和網絡。對脈沖神經網絡模型的分析已經識別出能夠預測網絡架構功能相似性的簡單架構特征 [26]。理想情況下，我們希望結合這些方法，形成從結構預測功能的普遍預測。

雖然圖論和網絡科學中的廣泛工作已經表征了網絡結構如何塑造信息流、魯棒性以及網絡上展開的動力學 [42, 43]，但特定圖拓撲實際上能夠執行哪些計算的問題受到的關注較少。我們采取直接的方法，通過在大量且豐富的計算任務上訓練大量網絡架構并評估其性能，來研究循環神經網絡的連接性如何塑造它們能夠執行的計算任務（圖1）。可能的任務空間既龐大又難以精確定義 [44]，因此我們專注于布爾函數作為一個全面的任務空間：它們足夠多樣化，能夠捕捉廣泛的計算需求，并且學習任意布爾函數的能力提供了對網絡容量的嚴格測試，包括有效擬合隨機結構的能力。由于 N N 個神經元的不同連接圖的數量和 N N 位上的布爾函數的數量隨 N N 呈指數增長，窮舉分析僅對小網絡可行，在那里我們枚舉所有架構和任務。對于較大的網絡，我們求助于對網絡架構和函數進行采樣。結合小網絡的窮舉分析和更大規模的采樣探索，我們尋求將網絡連接性與學習能力聯系起來的普遍原則，并理解動力學和信息流的結構約束如何塑造循環網絡中的結構-功能關系。

2 結果

由于可能的網絡拓撲數量和布爾函數數量使得對大 N N 模擬所有網絡變得不可行，我們首先探索小型網絡，在那里我們可以窮舉地研究所有可能的網絡架構并評估它們的計算能力，并利用從這些網絡中獲得的見解來隨后研究大型網絡，而在大型網絡中我們必須使用采樣技術。

2.1 計算能力在不同網絡間差異巨大

因此，雖然許多網絡被證明能力有限，且許多函數難以計算，但仍有部分網絡顯示出高容量，所以我們接下來詢問網絡拓撲的哪些特征塑造了其計算能力。

2.2 識別塑造網絡計算能力的特定連接模式

比較所有網絡類的效用分數（Utility score）和最小求解器分數（Minimal Solver score）揭示了幾種截然不同的行為（圖 3E）：許多低效用的網絡通常不是任何函數的最小求解器，而一些高效用的網絡的最小求解器分數也接近于零，這意味著更稀疏的網絡可以復制它們的解，且它們額外的連接是冗余的。一小部分網絡類因其最小求解器分數幾乎與其效用分數一樣高（這是其最小求解器分數的上限）而脫穎而出。因此，這些網絡類在結構上是高效的，因為它們解決了許多函數，并且對于幾乎所有的這些函數，沒有更簡單的網絡足以勝任。值得注意的是，這些正是拓撲結構包含短循環（short recurrent cycles）的網絡類，這在上述每個性能指標中都表現突出。綜上所述，我們要表明局部循環連接性不僅拓寬了網絡的功能庫，而且是以一種結構上不可約的方式做到的。因此，我們轉而詢問我們能多好地直接從網絡結構預測其計算能力。

2.3 從結構預測網絡的計算能力

我們直接檢查了網絡的不同局部網絡結構的計算預測能力。正如預期的那樣，連接更多的網絡通常實現更高的效用，但在相同的連接密度下，效用存在很大的方差（圖 4A）。此外，一些稀疏網絡的表現優于密集網絡，這驗證了連接的排列（而不僅僅是數量）決定了計算能力的觀點。擁有更多長度為 2 或 3 的循環的網絡也往往表現更好（圖 4B-C），而“匯點”（sinks）——即沒有傳出連接的神經元，它們無法與網絡的其余部分共享其計算，只能與讀出神經元共享——會損害性能（圖 4D）。我們還檢查了 16 種非同構的 3 節點有向模體（motifs）中的每一種的存在如何與網絡效用相關聯（圖 4E；模體分解算法見方法部分）。對于每個模體，我們聚合所有包含該模體的網絡并比較它們的效用分布，使我們能夠表征特定的局部連接模式如何塑造計算性能。（關于使用準確率進行的類似比較，見補充圖 S4。）

我們接下來詢問這些結構特征在單獨使用或組合使用時，能多好地預測網絡的效用（Utility）或準確率（Accuracy）——在每種情況下，我們訓練一個單隱層前饋神經網絡來預測效用或準確率，使用 50/50 的網絡訓練/測試劃分，并在 20 次隨機劃分中重復進行（圖 4F；見方法）。僅使用連接數量會產生糟糕的預測（圖 4G），而使用完整的模體分解則實現了近乎完美的性能（圖 4H）。引人注目的是，僅結合三個標量特征——連接數量、2-環數量和 3-環數量（）——就捕捉到了組合模體集或完整連接矩陣的大部分預測能力（圖 4I）。

因此，小型網絡的計算能力很大程度上由少量的局部結構統計數據決定，其中短循環起著核心作用。我們轉而詢問大型網絡的結構如何塑造其功能，以及我們從小型網絡中獲得的見解是否適用于大型網絡。

2.4 添加稀疏連接的中間神經元挽救了大型網絡的計算性能

這種迅速下降與電路復雜度的經典結果一致，這些結果表明大多數布爾函數需要指數級大的二值門電路來計算 [49]，因此在標準的復雜度理論假設下很難學習 [50]。這些結果反映出，使用匹配規模的循環網絡來計算任意布爾函數可能在本質上是困難的。這可能意味著針對全套布爾函數這一目標存在固有的局限性，并且不同的網絡架構“覆蓋”了函數空間的不同部分。此外，生物神經網絡顯然依賴于大得多的架構，并且在某些情況下，電路設計似乎是為了專門的指定計算而優化的。另一方面，其他神經回路，如皮層柱，通常被認為是高度 adaptable（自適應的）并且能夠實現非常不同的功能。

受真實神經網絡架構的啟發，我們發現一種簡單的架構擴展極大地改變了我們網絡的能力，并使它們能夠克服這些看似困難的函數類別。我們向網絡中增加了額外的“中間神經元”（interneurons），即那些不直接接收外部輸入，但參與循環動力學的神經元（見圖 5A 和圖 5D 以了解有無中間神經元的網絡示例）。由此產生的架構在計算性能上表現出顯著的提升。隨著中間神經元數量的增加，隨機采樣的循環網絡的近似準確率迅速提高（圖 5E）。關鍵在于，即使對于連接非常稀疏的網絡（即那些在沒有中間神經元時無用的網絡），情況也是如此。因此，有了額外的中間神經元，即使是稀疏網絡也變得能夠學會計算任意復雜的布爾函數。這一點特別有趣，因為這些網絡缺乏任何強加的架構結構，因為所有網絡都是從 Erd?s–Rényi 模型中采樣的。

然后我們詢問，是否對連接性施加額外的結構特征可以進一步提高網絡的容量。因此，我們測試了帶有中間神經元的不同類別的網絡，并比較了它們的平均近似準確率作為網絡大小和連接密度函數的表現（圖 6A）。Erd?s–Rényi (ER) 網絡（對應于圖 5 中的那些）隨著大小和密度的增加而改善，在平面上產生了強烈的準確率梯度。值得注意的是，遵循小網絡中循環的預測性質——這些 ER 圖包含許多短循環，特別是 3-環，其預期豐度隨著網絡規模的增加而迅速增加（圖 6B）。因此我們詢問，循環是否是網絡性能的關鍵貢獻者。為了測試這一點，我們研究了一組對于每個 N N 值具有匹配連接密度 p p 的有向無環圖（DAGs）集合，并發現它們在整個大小和密度范圍內表現都很差，這表明去除循環反饋（cyclic recurrence）嚴重限制了計算。然后我們詢問，這種失敗是否純粹是由于缺乏循環，或者循環是否貢獻了不同的結構屬性，例如通過網絡改進的信息傳播。為了分離這個因素，我們引入了一個結構化的無環集合（“輸入擴展 DAG”），其中強制輸入神經元廣泛投射到下游中間神經元（見方法）。輸入擴展 DAG 的表現明顯優于無約束的 DAG，表明故意確保輸入傳播可以在沒有循環的情況下部分挽救性能，但在大部分參數范圍內，它們仍然不如 ER 網絡有效。然后我們詢問，循環架構的優勢是否可以僅由改進的信號傳播來解釋。因為我們的循環動力學運行步，信息在計算期間最多可以遍歷三個“跳數”（hops）。因此，我們構建了一個“無環可達性”（Reachability-without-Cycles）網絡集合，該集合明確最大化 3 步可達性，即在三個有向跳數內從每個輸入可達的神經元數量，同時禁止 3-環（方法）。如果循環僅僅是高效傳播的代理指標，那么這些網絡在匹配的因此我們詢問，通過向 ER 網絡中直接添加更多循環來豐富它們，從而創建“豐富 3-環”（Enriched 3-cycles）集合（方法），是否會進一步提高性能。我們發現情況確實如此，這與對其他類別網絡的解釋一致（圖 6C）。此外，我們發現這種改進在稀疏狀態下最為顯著，而在較高密度下（此時 ER 網絡已經包含許多短循環）則會減弱。

3 討論

通過系統地訓練數億對循環神經網絡和目標函數，我們映射了網絡連接性如何塑造有限循環神經網絡的計算能力。我們發現大多數布爾函數在本質上是難以計算的，并且大多數循環神經網絡架構只能學會計算其中的一小部分。雖然增加連接性通常會提高性能，但我們發現具有相似連接密度的網絡在計算能力上存在極高的方差。我們表明，長度為 2 和 3 的短循環是塑造計算能力的關鍵因素，并且在計算特定函數所需的最小架構中占據主導地位，而無環組織和匯點節點（sink nodes）則會損害性能。對于小型網絡，我們表明它們的計算性能可以從連接數量和短循環數量中準確預測。將我們的分析擴展到少數幾個以上的神經元表明，典型網絡甚至無法逼近典型函數。但是，受生物神經網絡中中間神經元的啟發，我們發現添加一組稀疏連接且數量較少的此類中間神經元會極大地改變大型網絡的容量，使它們變得極具能力，并且在這里，短循環同樣預測并提高了計算容量。

雖然這與小網絡模體（motifs）的計算解釋一致 [5]，但短循環在這里的重要性值得注意，因為許多被廣泛研究和使用的人工神經網絡都是無環電路——從多層感知機 [51]，到卷積網絡 [52]，再到 Transformer [53]。這一點特別有趣，因為在我們的有限且資源受限的網絡中（反映了眾多生物回路的約束），我們發現局部循環往往是能夠計算許多函數的最小架構。一種自然的解釋是，循環提供了一種短期記憶的形式，允許信息在網絡中持久存在，并在網絡的運行期間被重新處理，而不是在幾次前饋步驟后消散。我們的可達性匹配無環模型（reachability-matched acyclic model）的失敗支持了這一觀點，該模型可以傳播信息但無法保留它。

未來的工作將探索更大的網絡，并旨在發現超越我們在此發現的局部原則的、新的且更精細的架構原則，這些原則支配著高容量的連接模式，特別是對于具有稀疏連接中間神經元的網絡。另一個擴展是超越我們在此考慮的兩種神經元非線性類別，因為它們可能被證明在性質上是不同的。此外，我們在這里專注于的情況，因為這是允許在處理輸入以及網絡內部記憶中產生復雜依賴關系的最小時間尺度，但更大的 T T 值可能會揭示更長循環動力學的潛在容量和局限性。我們還注意到，雖然我們對布爾函數的選擇是基于它們的表達能力和計算易處理性，但其他類別的函數可能會揭示網絡空間或函數空間（從網絡性能的角度來看）更復雜或有趣的組織。我們的分析專注于尋找產生正確計算或其逼近的一組網絡權重，而忽略了由于我們的學習范式或初始條件采樣導致的學習成功率的變異性。量化網絡在網絡的隨機初始化下可靠達到工作解決方案的程度，將提供網絡設計的另一個維度——區分對初始條件敏感的拓撲（這意味著共享相同拓撲但具有不同連接權重的網絡空間的景觀是崎嶇的）與如此有效以至于對初始條件不敏感的拓撲 [54]。我們還注意到，其他學習機制可能會揭示更有能力的網絡設計，以及探索用于訓練網絡的更廣泛的初始條件，或者替代地，在計算性能的選擇下進化架構，并觀察哪些主導結構會出現 [55]。

我們希望本文提出的分析將有益于真實神經回路連接組及其功能的研究，并且或許還能作為探索人工神經網絡架構設計的一個框架。特別是，我們在此提出的框架使得我們能夠探究哪些類別的架構對特定類別的計算任務有益，即表征大型且多樣化的網絡類別的目錄矩陣和準確率矩陣的內部結構。固定的隨機連接循環網絡在僅訓練讀出層或反饋輸入時提供豐富動力學的能力 [37, 38, 56]，為我們工作的另一個潛在擴展提供了可能，即探討在這些“儲備池”（reservoirs）中引入結構是否能改善它們的性能或構造。在更偏向理論的方向上，未來的工作將致力于把我們的發現與直接從連接性推導網絡動力學的解析方法聯系起來，例如閾值線性網絡的圖論規則，這些規則展示了特定的模體如何產生特定的動力學狀態 [40, 41]。在連接模體與網絡能夠執行的計算之間建立類似嚴格的聯系，對于橋接網絡架構、動力學和功能將大有裨益。

原文鏈接：https://arxiv.org/pdf/2606.23874