不只是預測：動力學學習中「記憶」的五重境界

導語

從Takens嵌入定理到Koopman算子，從RNN、Transformer到Neural ODE與TimeGPT，時間序列預測的發(fā)展史本質(zhì)上是一部“機器學習記憶”的進化史。近日，集智學園張江老師系統(tǒng)梳理了動力學學習的發(fā)展脈絡，揭示了一個貫穿半個世紀的核心問題：機器究竟該如何表示過去，才能預測未來？文章以“記憶”為主線，串聯(lián)動力系統(tǒng)理論、深度學習與基礎模型的發(fā)展歷程，展示了人工智能如何從數(shù)據(jù)中自動發(fā)現(xiàn)復雜系統(tǒng)的演化規(guī)律，并逐步邁向跨領(lǐng)域、跨系統(tǒng)的通用預測能力。

關(guān)鍵詞：動力學學習、時間序列預測、RNN、Transformer、擴散模型、復雜系統(tǒng)

引言：從“拍腦袋建模”到“數(shù)據(jù)驅(qū)動發(fā)現(xiàn)”，

我們用記憶讓機器學會預測復雜世界

預測，是人類最古老也最前沿的智力活動。遠古先民觀察星象預測四季，牛頓用萬有引力定律預測行星軌道，現(xiàn)代科學家用超級計算機預測氣候變化，這些預測的本質(zhì)是相同的：從推斷出的已知模型推演未知的未來。

然而，隨著觀測手段的爆炸式發(fā)展（如衛(wèi)星遙感、腦電記錄、物聯(lián)網(wǎng)傳感器），我們往往擁有海量時間序列數(shù)據(jù)，卻對背后的動力學機制知之甚少。于是問題被顛倒過來：給定觀測數(shù)據(jù)，能否自動推斷出系統(tǒng)的演化規(guī)則？

這就是動力學學習——讓機器從觀測數(shù)據(jù)中，自動發(fā)現(xiàn)系統(tǒng)演化的規(guī)則。

2025年，這個方向迎來了兩個標志性時刻。微軟的 Aurora 模型用一個統(tǒng)一框架同時預測臺風軌跡、空氣污染和海浪高度，論文登上《Nature》。與此同時，TimeGPT 把千變?nèi)f化的時間序列預測任務塞進一個預訓練模型，實現(xiàn)了零樣本預測。

這些驚艷的模型是半個世紀以來一代代研究者反復追問同一個問題的結(jié)果：

“現(xiàn)在”到底要被記成什么樣子，“未來”才能從中自然地長出來？

這個問題聽起來抽象，但它就是整條演進路線的暗線。本文把它叫做“對記憶的追問”，即模型（或數(shù)學框架）用什么方式來表示過去和現(xiàn)在的狀態(tài)（處理記憶），又用什么方式來預測未來（運用記憶），并把這個過程總結(jié)為以下五個階段，對應文章的五個章節(jié)。

一、記憶有用嗎？——Takens 定理：

過去的觀測里藏著完整的世界

1.1 正問題與反問題

要理解動力學學習在做什么，首先要分清兩個方向相反的問題。

正問題是傳統(tǒng)的思路：已知系統(tǒng)的演化方程，給定初始狀態(tài)，求未來的軌跡。比如天體物理中已知行星的運轉(zhuǎn)規(guī)律，給定今天的位置和速度，就能算出明天在哪里。數(shù)學上寫為：

其中 是系統(tǒng)在時刻 t 的狀態(tài)向量（可能包含 n 個節(jié)點或變量的值），F(xiàn) 是已知的演化規(guī)則。把 s0 代入 F，得到 s1；再代入，得到 s2——如此遞推，整條軌跡就出來了。

反問題是現(xiàn)實世界里更常見的情形：F 是未知的。我們只能觀測到系統(tǒng)運行產(chǎn)生的數(shù)據(jù)，任務是從這些數(shù)據(jù)中，把隱藏的 F 學出來。

學到的 就是原始系統(tǒng)的替代模型（surrogate model）。有了它，我們就能做預測（給定歷史推未來）、模擬（在不同初始條件下看系統(tǒng)如何演化）、甚至優(yōu)化和控制（找到最優(yōu)的干預策略）。

這里有一個關(guān)鍵的思維轉(zhuǎn)換：我們的最終目標是學到 F，但實現(xiàn)手段是構(gòu)造一個監(jiān)督學習問題——預測下一個時間步。

訓練一個參數(shù)為 θ 的模型 fθ，讓它能夠從上一時刻的狀態(tài)預測下一時刻的狀態(tài)。如果預測足夠準確，那么 fθ 就是對真實動力學 F 的一個好的近似。

圖1：正問題（從右向左）是從模型推數(shù)據(jù)，反問題（從左向右）是從數(shù)據(jù)推模型

圖1是對正反問題的一個圖示，表面上我們在做預測，實際上我們在做的是建模，學到動力學規(guī)律才是目的。

1.2 從一步到多步：隱變量與長程記憶

前面的例子做的實際上是一步預測，而一步預測的假設是馬爾可夫性：下一時刻只依賴于當前時刻。但真實系統(tǒng)往往不滿足這個假設。原因在于隱變量（latent variables）。所觀測到的變量可能只是系統(tǒng)狀態(tài)的一部分——還有一些維度是看不見的，這些更可能是真實的原因或者影響力更強的變量，類似于我們能很容易地觀察到其他人的外在行為表現(xiàn)，但不知道他腦子里在想什么，也不知道這是如何演化而來的。

這些看不見的維度在暗中影響著系統(tǒng)的演化，體現(xiàn)在可觀測數(shù)據(jù)上，就是長程記憶性：今天的狀態(tài)不僅依賴于昨天，還可能依賴于一周前、一個月前。這時候一步預測就不夠了，需要構(gòu)造多步預測問題：

輸入變?yōu)檫^去 T 步的歷史，輸出則是未來 τ 步的預測。這個框架更貼近真實場景，也是后續(xù)Transformer等架構(gòu)大顯身手的舞臺。

1.3 Takens定理：用歷史重構(gòu)相空間

隱變量的存在看似讓問題無解——觀測不到完整狀態(tài)，怎么可能學到真實動力學？Takens定理[1]（嵌入定理）給出了一個令人驚喜的理論：一個變量的歷史包含了其他隱變量的信息。

例如，今天的溫度、昨天的溫度、前天的溫度——這些延遲值里隱含了氣壓、濕度等沒直接測量的變量的信息。Takens定理保證了這種信息的充分性，如圖2所示，Takens定理指出，即使只能觀測到系統(tǒng)的一個標量輸出 x(t)，只要把它的時延嵌入（delay embedding）排成向量：

只要觀測函數(shù)足夠“通用”，即當嵌入維度 d 足夠大時（具體地， 2n"},"displayMode":"inline","viewType":"inline"}}">d > 2n，其中 n 是系統(tǒng)的真實維度），這個重構(gòu)的相空間與原始相空間拓撲等價，或者通俗點說，雖然只盯著一個變量看，但如果你看得夠久，這個變量留存的記憶足以讓你重構(gòu)出整個系統(tǒng)的動力學結(jié)構(gòu)。

圖2：Takens定理的核心思想：僅通過洛倫茲系統(tǒng)一個維度（如x(t）的時間序列，經(jīng)過時間延遲嵌入，即可與完整三維系統(tǒng)（x(t), y(t), z(t）的吸引子建立微分同胚關(guān)系。

*注：微分同胚是指兩個光滑流形之間存在一個雙射映射，使得該映射及其逆映射都是光滑（無限次可微）的，從而表明這兩個流形具有相同的光滑結(jié)構(gòu)。可以理解為，兩個形狀不僅能被像橡皮泥一樣捏來捏去變成對方（拓撲同胚），而且整個變形過程平滑順滑、沒有任何尖角褶皺和撕裂——就像把甜甜圈柔順地揉成咖啡杯，沒有粗暴地折出棱角一樣。

這意味著：動力學信息并不神秘，它就藏在時間序列的時序關(guān)聯(lián)之中。這一思想為后來的所有時間序列預測方法奠定了哲學基礎——過去包含著未來的種子。

1.4 本節(jié)小結(jié)

這一節(jié)回答了一個最基本的問題：僅憑觀測數(shù)據(jù)，學習動力學規(guī)律這件事，在理論上到底可不可能？

答案是肯定的，但是記憶的存在讓事情看起來棘手了：我們觀測到的可能只是冰山一角，真正驅(qū)動系統(tǒng)的變量藏在水面之下，今天的天氣不只取決于昨天，可能還取決于一周前大洋上空的氣壓分布。

Takens 定理在這個看似絕望的地方給出了希望：你不需要看到所有變量，只需要看一個變量看得足夠久。時間延遲本身就是一面鏡子，能把隱藏的維度映射出來，過去的記憶是重構(gòu)完整世界的原材料。

但是，Takens 定理只保證了記憶有用，從有用到能用，中間還隔著一整套方法論。這就像有人告訴你“這座山里一定有金礦”，但沒給你地圖，也沒給你鏟子。

下一節(jié)，我們就去找第一把提取記憶的鏟子：Koopman 算子會告訴我們，存在一種特殊的“眼鏡”，戴上它之后，整個非線性系統(tǒng)看起來就像線性的，而線性系統(tǒng)的預測，不過就是做矩陣乘法而已。

二、怎么提取記憶？——Koopman 算子：

換一副眼鏡，讓彎路變直路

2.1 Koopman算子：把非線性變線性

Takens告訴我們可以重構(gòu)相空間，但重構(gòu)之后，問題仍然棘手：真實系統(tǒng)幾乎都是非線性的，這意味著線性方法不能直接用。

但Koopman算子理論（1931年提出，近年被重新發(fā)現(xiàn)）[2]提供了一條繞行路線：在函數(shù)空間中，非線性動力學可以被一個線性算子描述。關(guān)于Koopman算子，蘭岳恒老師在集智學園有更深入的介紹，感興趣的小伙伴可以進一步了解：https://pattern.swarma.org/study_group_issue/747。

Koopman算子提供了一個天才的迂回策略：非線性系統(tǒng)在有限維空間中難以處理，但如果把它提升到無限維的函數(shù)空間，它的演化可以變成線性的。具體來說，Koopman算子定義在系統(tǒng)的觀測函數(shù)上。假設系統(tǒng)狀態(tài) x 按照非線性規(guī)則 xt+1 = F(xt) 演化。對于任意一個觀測函數(shù) g（比如“取溫度值的平方”），Koopman算子 定義為：

它把函數(shù) g 在當前狀態(tài)的值，映射為 g 在下一時刻狀態(tài)的值。即使在有限維空間 F是非線性的，作為函數(shù)空間上的算子是線性的。而線性問題其實就是矩陣問題，有成熟的數(shù)學工具（特征值分解、譜分析）可以用，這就是它的價值所在。

然而，這個方法的代價是函數(shù)空間變?yōu)榱藷o限維。在實際計算中，我們必須挑選一組有限的基函數(shù)來近似Koopman算子。這正是DMD及其變種做的事情。

2.2 DMD與eDMD：從數(shù)據(jù)中近似Koopman

理論上Koopman算子是無窮維的，實際計算中需要有限維近似。動態(tài)模態(tài)分解（Dynamic Mode Decomposition, DMD）就是做這件事的數(shù)值方法。如圖3所示，它的思路極其簡潔：給定時序數(shù)據(jù)矩陣 和 ，是前者在時間上一步的平移），然后尋找一個線性算子A使得Y≈AX。最小二乘解 （?表示偽逆）就是對Koopman算子的有限維近似[3]。

通過數(shù)值方法求解A的特征值和特征向量，可以揭示了系統(tǒng)的主導動態(tài)模態(tài)——哪些模式在增長、哪些在衰減、振蕩頻率是多少。比如在流體力學中，DMD的模態(tài)恰好對應流場中的渦脫落頻率；在腦電信號分析中，DMD模態(tài)對應不同腦區(qū)的節(jié)律活動。

圖3：DMD從時間序列數(shù)據(jù)構(gòu)建矩陣 X 和 X'，通過計算 A = X' X? 學習線性動力學算子，然后利用 xk+1= A xk 進行未來狀態(tài)預測。

后來的擴展DMD（eDMD，Extended DMD）則引入非線性基函數(shù) ψ(s)，不直接在原始狀態(tài)上做DMD，而先把狀態(tài)通過一組非線性基函數(shù)（如多項式、徑向基函數(shù)、或神經(jīng)網(wǎng)絡）提升到高維特征空間，這本質(zhì)上是在用“核技巧”的思路逼近Koopman算子[4]。

2.3 儲備池計算：固定隨機網(wǎng)絡的奇跡

如果說Koopman方法是從“升維線性化”的數(shù)學路徑逼近動力學，儲備池計算（Reservoir Computing）則從“高維隨機表示”的工程路徑給出了答案。如圖4所示，它的核心思想也很簡單：用一個固定的、隨機初始化的遞歸神經(jīng)網(wǎng)絡作為“儲備池”，只訓練最后的輸出層[5-7]。

因為Koopman算子理論實際上是一種高維隨機投影，所以直覺上來說，一個足夠大的、具有適當耗散性質(zhì)的隨機遞歸網(wǎng)絡，天然形成了一個“隨機特征庫”，輸入信號在高維空間中被展開成多樣化的瞬態(tài)響應模式，然后線性組合就能逼近任意的非線性函數(shù)[8]。

圖4：儲備池計算的基本架構(gòu)：輸入信號 xin 進入一個高維、隨機連接且固定的循環(huán)儲池（Reservoir），其內(nèi)部狀態(tài) x1, x2, ..., xN 通過線性加權(quán)求和得到輸出 ，只有輸出層的權(quán)重 wi 需要訓練。

儲備池的隨機遞歸連接為輸入信號提供了豐富的非線性變換和記憶能力。只要儲備池足夠大、連接足夠豐富，它就能把輸入信號“展開”到一個高維空間中，使得簡單的線性輸出層就能完成復雜的預測任務。同時，儲備池方法因其訓練極快（只優(yōu)化輸出層）、適合混沌系統(tǒng)（隨機性質(zhì)本身具備混沌系統(tǒng)的某些特性）而長盛不衰。Lorenz系統(tǒng)、Kuramoto-Sivashinsky方程等經(jīng)典混沌系統(tǒng)上，儲備池能以極低的計算成本實現(xiàn)超越許多深度模型的長期預測能力[9-10]。

2.4 本節(jié)小結(jié)

既然 Takens 定理保證了有用的記憶信息就藏在歷史觀測里，那我們怎么把它提取出來？答案是一個優(yōu)雅的迂回策略：不要硬碰非線性，換一副眼鏡，讓彎路變成直路。

Koopman算子的核心洞見就是這樣：一個在有限維空間中扭曲翻轉(zhuǎn)的非線性系統(tǒng)，如果你愿意跳到一個更高維（甚至無窮維）的函數(shù)空間中去觀察它，它的演化就變成了線性的。

DMD和eDMD是這套理論的數(shù)值實現(xiàn)，用有限維基函數(shù)近似無窮維 Koopman 算子，儲備池計算則從一個完全不同的方向抵達了相似的目的地，即不必精心設計基函數(shù)，使用一個隨機初始化的大規(guī)模遞歸網(wǎng)絡來提供足夠豐富的高維展開空間。

但這條路有一個天花板：基函數(shù)需要人來選擇。當系統(tǒng)足夠復雜（幾百個變量、高度非線性的耦合、多尺度的時間結(jié)構(gòu)），沒有人能保證哪組基函數(shù)是對的。

下一節(jié)，我們將介紹如何讓模型學會自主決定怎么記憶。

三、讓模型自己學會記憶：

RNN、CNN與Transformer

隨著觀測手段的爆炸式發(fā)展，我們可以擁有的數(shù)據(jù)越來越多，衛(wèi)星圖像、腦電信號、傳感器讀數(shù)，就算是最頂尖的科學家，也根本來不及為每一個新系統(tǒng)重新設計觀測函數(shù)。這引出了一個大膽的問題：能不能讓模型自己學怎么記憶？

這其實就是反向傳播所做的事情，梯度下降讓模型能夠“自主”學習如何壓縮信息、如何遺忘噪聲、如何提取規(guī)律。最樸素的方法是用前饋神經(jīng)網(wǎng)絡直接擬合映射 ，把過去時刻的值作為輸入，直接回歸下一個時刻。只要神經(jīng)元足夠多，它可以逼近任意函數(shù)。但問題在于，該方法沒有時序結(jié)構(gòu)的先驗知識，它對 t-1 和 t-10 時刻的輸入一視同仁，參數(shù)量隨著歷史窗口長度急劇膨脹。

3.1 RNN：從隱式記憶中學習

循環(huán)神經(jīng)網(wǎng)絡（RNN）的出現(xiàn)，讓動力學學習第一次“有了記憶”。如圖5所示，不同于前饋網(wǎng)絡，RNN 隱層單元之間存在遞歸連接，使得網(wǎng)絡能夠保存歷史信息。對于時間序列預測，RNN 可以像微分方程一樣遞歸地更新狀態(tài)[11]：

圖5：RNN結(jié)構(gòu)（示例）：編碼部分隱藏狀態(tài) h0 到 h4 沿時間步遞歸傳遞，每個時刻接收輸入 x1 到 x4，并通過共享參數(shù)實現(xiàn)序列信息的記憶與傳遞。

隱狀態(tài)就像一個記憶單元，理論上可以把過去所有時間步的信息積累起來。但RNN有一個根本的結(jié)構(gòu)性瓶頸：它是順序計算的——必須先算h1，才能算h2，再算h3。這使得訓練無法并行化，在長序列上效率低下[12]。

另一個問題是記憶的衰減。早期RNN在反向傳播時，梯度會指數(shù)級消失或爆炸。1997年，Hochreiter和Schmidhuber提出了LSTM，用門控機制（輸入門、遺忘門、輸出門）讓網(wǎng)絡自己決定什么時候記、什么時候忘[13–14]，后來有學者提出其簡化版，即GRU[15]，這些變體讓RNN能記住上百步之前的依賴。

RNN家族的最新成員，比如RWKV和Mamba，正在挑戰(zhàn)Transformer的統(tǒng)治地位。RWKV用注意力機制的形式配合RNN的結(jié)構(gòu)，設計了一種可以像RNN一樣遞歸推理（線性復雜度）、同時可以像Transformer一樣并行訓練（通過時間維度的前綴和計算）的模型，這是對“記憶”的又一次重新定義[16-19]。

3.2 CNN：把時間當空間處理

卷積神經(jīng)網(wǎng)絡（CNN）對記憶的理解是局部的信息對于判斷該局部的模式更有幫助，乍看之下，CNN是圖像數(shù)據(jù)的專屬。

一維卷積的操作很直觀：一個長度為 k 的卷積核 w，在時間序列上滑動，每一步計算內(nèi)積：

通過堆疊多層卷積，感受野指數(shù)級增長。第 L 層的每個神經(jīng)元，理論上能看到 kL 個原始時間步——既能保持局部性，又能覆蓋長程依賴。

這種trick在周期性數(shù)據(jù)上很適用，可以把周期的規(guī)律升維處理，如圖6所示。比如電力負荷數(shù)據(jù)，它一般以24小時為周期，把多個周期“上下堆疊”成一張二維圖像：橫軸是時間（小時），縱軸是周期（天數(shù)），然后直接用二維CNN處理，就可以很直觀地處理不同周期內(nèi)同一時間段的模式（如每天傍晚），這本質(zhì)上是把時間周期性轉(zhuǎn)化成了空間周期性[21]。

圖6：CNN對時間序列建模的兩種方式：左邊為一維CNN直接處理原始序列，右邊展通過Reshape將一維序列轉(zhuǎn)化為二維數(shù)組，從而用二維CNN同時捕捉周期內(nèi)模式與周期間的依賴關(guān)系。

CNN和RNN的選擇，本質(zhì)上是并行性與記憶長度的權(quán)衡。CNN可以完全并行訓練（每個時間步的卷積計算獨立），但感受也受層數(shù)限制；RNN理論上能記住無限遠，但必須順序計算。這個權(quán)衡，直到Transformer才被打破。

3.3 Transformer：讓所有位置直接對話

Transformer的自注意力機制從根本上改變了序列建模的方式，它讓序列中任意兩個時間步之間直接建立聯(lián)系[17]：

每個時刻都能“看到”所有其他時刻，長程依賴不再需要通過中間狀態(tài)間接傳遞。

但Transformer在時間序列預測上會有幾個問題。

第一個問題是復雜度。標準自注意力的計算量是序列長度的平方，如輸入一千步，就需要百萬級的注意力分數(shù)。Informer論文發(fā)現(xiàn)，這些分數(shù)呈現(xiàn)“長尾分布”：極少數(shù)幾對位置貢獻了絕大部分注意力，絕大多數(shù)接近于零，白白浪費算力。

Informer使用ProbSparse自注意力來降低計算量[22]，通過一個采樣策略，只保留最重要的少數(shù)鍵值對，將復雜度從 O(L2） 降到 O(L log L）。配合生成式解碼器一次輸出長序列，Informer讓長序列預測成為可能。

圖7：Informer模型中的嵌入與注意力模塊：輸入序列在時間步 t 和 t + Dx 處經(jīng)過嵌入（Embedding）和一維卷積處理，隨后通過多頭注意力機制以及多個注意力塊（如Attention Block 2）來捕捉長序列中的依賴關(guān)系，實現(xiàn)對長時間序列的高效預測。

第二個問題則更隱蔽。標準Transformer處理多變量時間序列時，默認的做法是把每個時間步的所有變量拼成一個token，即第t秒的“溫度、濕度、風速”和第t+1秒的“溫度、濕度、風速”互相關(guān)注。溫度和濕度在每一秒都被重新打包成同一個向量，模型不知道哪一維是溫度、哪一維是濕度，變量之間的因果關(guān)系（例如溫度上升導致濕度下降）只能通過時間步之間的注意力間接傳遞。

iTransformer方法做了一個看似“大逆不道”的改進：把Transformer的傳統(tǒng)用法倒過來[23]。如圖8所示，原來的方法是把“每個時間步的所有變量”當作一個token，iTransformer改為把“每個變量的整個時間序列”當作一個token。于是注意力從時間維轉(zhuǎn)移了變量維，模型直接學習溫度序列和濕度序列之間的關(guān)系，而不是第3秒和第4秒之間的關(guān)系。每個變量的時序模式，在嵌入空間中保留完整，由另一個分支（前饋網(wǎng)絡）處理。這個反轉(zhuǎn)讓iTransformer能夠更好地建模多變量時序中的變量間相關(guān)性和變量內(nèi)時序模式，在多個長序列預測基準上取得了顯著提升。

圖8：標準Transformer與iTransformer在處理多變量時間序列時的核心架構(gòu)差異：傳統(tǒng)Transformer按時間步切分Token，iTransformer按變量切分Token，將注意力從“時間依賴”轉(zhuǎn)向“變量依賴”。

3.4 本節(jié)小結(jié)

從Koopman到RNN、CNN、Transformer，深度學習終于讓記憶從數(shù)學構(gòu)造變成了可學習的對象，梯度下降賦予了模型一種能力：通過反復試錯，自主學會什么該記、什么該忘、怎么組織。

對于如何在有限的計算資源下，讓記憶覆蓋盡可能遠的過去，這三種深度學習方法給出了不同的權(quán)衡方案。RNN 選擇了深度（時間步越多，傳遞越深），CNN 選擇了寬度（層越多，視野越大），Transformer 選擇了直接連接（犧牲計算量換取更少的信息衰減）。

而 Informer 和 iTransformer 的出現(xiàn)，說明即使在 Transformer 內(nèi)部，優(yōu)化也遠未結(jié)束。Informer 問的是“注意力里有多少是浪費的”，iTransformer 問的是“注意力應該施加在哪個維度上”。這些追問的本質(zhì)仍然是同一件事：如何讓記憶更高效、更精準。

但無論 RNN、CNN 還是 Transformer，它們有兩個共同的隱含假設：第一，時間是離散的格子；第二，同一段記憶只指向一個確定的未來。

下一節(jié)，我們將同時挑戰(zhàn)這兩個假設：擴散模型讓預測從一個點變成一片概率云，Neural ODE 讓時間從離散變成連續(xù)。

四、讓記憶擁抱真實：

擴散模型的不確定性與Neural ODE的連續(xù)性

4.1 擴散模型：把預測變?yōu)楦怕史植?/strong>

確定性預測只給一個點估計，但真實世界充滿不確定性，氣象臺預測明天的溫度時，我們在手機上看到的也只是一個分布。擴散模型（Diffusion Models）將概率生成的框架引入時間序列預測，輸出可能軌跡的分布。

擴散模型（Diffusion Model）并非為時間序列而生，但它天然契合條件生成任務。例如經(jīng)典的DDPM（Denoising Diffusion Probabilistic Model，去噪擴散概率模型）中，其正向過程逐步向數(shù)據(jù)注入噪聲，最終將其轉(zhuǎn)化為純隨機噪聲；而逆向過程則是一個“去噪生成”過程——從純噪聲出發(fā)，一步步還原出原始數(shù)據(jù)。DDPM的訓練目標是，預測每一步添加的噪聲，從而還原出從噪聲生成數(shù)據(jù)的過程[24]。

以TimeGrad為例，它將DDPM與自回歸時間序列模型結(jié)合，在每個預測時間步，通過逐步去噪的過程生成預測值的分布，量化了預測的不確定性，對風險決策（金融、氣象）尤為重要[25]。

4.2 殘差網(wǎng)絡：一種增加幀數(shù)的方法

在進入Neural ODE之前，我們先來重新解讀一下殘差網(wǎng)絡所做的工作。殘差網(wǎng)絡是當年一個突破性的方法，將神經(jīng)網(wǎng)絡的層數(shù)大幅度提升，殘差網(wǎng)絡（ResNet）的每一層做的事情是[26]：

網(wǎng)絡不從頭學習下一層的表示，轉(zhuǎn)為學習當前層應該改變多少，即 “殘差”，然后加到當前狀態(tài)上。這個設計讓梯度可以通過恒等捷徑（identity shortcut）無損地回傳，解決了深層網(wǎng)絡的梯度消失問題，使網(wǎng)絡可以深達數(shù)百層。

把ResNet的遞推式重寫為以下形式：

左邊是變化量，右邊是一個關(guān)于當前狀態(tài)的函數(shù)，可以發(fā)現(xiàn)這個公式很像微分方程。

事實上，從數(shù)學的角度，連續(xù)微分方程 的歐拉離散化正是：

當步長 Δt = 1 時，就是ResNet的形式。

這意味著：ResNet本質(zhì)上是某個連續(xù)動力系統(tǒng)的歐拉離散化。層數(shù) t 對應時間，f 對應速度場，ht 對應時刻 t 的系統(tǒng)狀態(tài)。從這個角度來說，現(xiàn)在大家耳熟能詳?shù)纳疃染W(wǎng)絡絕不是在一味地堆疊抽象層次，是在模擬一個連續(xù)時間的演化過程。

這樣自然地引出了一個問題：如果ResNet是離散化的微分方程，為什么不直接解連續(xù)方程？

4.3 Neural ODE：把“層”變成“時間”

2018年，陳天琦（Tian Qi Chen）等人發(fā)表了《Neural Ordinary Differential Equations》，即著名的Neural ODE（神經(jīng)微分方程）方法[27]，它迅速獲得了大量引用，至今仍是將數(shù)學與深度學習融合得最優(yōu)美的工作之一。如圖9所示，其核心思想極其簡潔：不要離散的層，直接讓隱藏狀態(tài)按照一個由神經(jīng)網(wǎng)絡參數(shù)化的微分方程連續(xù)演化：

其中 fθ 是一個神經(jīng)網(wǎng)絡，參數(shù) θ 與時間 t 無關(guān)，即每一時刻參數(shù)共享。給定初始狀態(tài)h(0）（即網(wǎng)絡的輸入），通過求解這個微分方程，得到任意時刻的狀態(tài)。網(wǎng)絡的輸出就是h(T），其中 T 是所選擇的終止時間。該積分過程可以用任意數(shù)值ODE求解器（如歐拉法、龍格-庫塔法等）來計算：

這個看似只是把離散層變成連續(xù)積分的操作，一舉解決了ResNet遺留的全部三個問題：

第一，無窮深度，有限參數(shù)。因為 fθ 的參數(shù) θ 在所有層（時刻）之間共享，參數(shù)量不隨深度增長，可以被當作常數(shù)看待。如果把時間區(qū)間 [0, T] 分得任意細，相當于擁有任意多層，而存儲開銷并沒有增加。

第二，深度自適應。ODE求解器（如自適應步長的Dormand-Prince方法）會根據(jù)動力學變化的劇烈程度自動調(diào)整步長——變化平緩時大步跳過（層數(shù)少），變化劇烈時小步精細積分（層數(shù)多）。網(wǎng)絡的有效深度從需要預先指定超參數(shù)，轉(zhuǎn)為數(shù)據(jù)驅(qū)動式。

第三，連續(xù)時間建模。層這個離散概念消失了，取而代之的是連續(xù)的時間 t。有了這個建模方式，就可以在任意時刻查詢系統(tǒng)狀態(tài)——不只是整數(shù)時間點，也包括 t = 1.2345 這樣的中間時刻。

圖9：殘差網(wǎng)絡與ODE 網(wǎng)絡的核心差異：左側(cè)殘差網(wǎng)絡通過有限層離散變換逐步映射狀態(tài)，層數(shù) n 有限，輸入為 x0，輸出為 y，前向計算產(chǎn)生一系列離散激活值，損失為 L(y)，通過反向傳播調(diào)整每層參數(shù) Wi；右側(cè) ODE 網(wǎng)絡則定義了一個連續(xù)向量場 dz/dt = f(z, θ)，狀態(tài)隨時間連續(xù)演化，理論上對應無限層，輸入為初始條件 z=z0，輸出為 T 時刻的解 z(T)，前向計算產(chǎn)生連續(xù)軌跡 z(t)，損失為 L(z(T)，通過伴隨方程（Adjoint equation）調(diào)整參數(shù) θ，而非逐層反向傳播。

4.4 伴隨方法：用微分方程替代反向傳播

傳統(tǒng)深度網(wǎng)絡的反向傳播需要存儲所有中間層的激活值：網(wǎng)絡越深，內(nèi)存越大。一個1000層的ResNet，就需要存1000層的中間結(jié)果。Neural ODE是將層數(shù)拓展到了無窮，那內(nèi)存也要無窮大嗎？

伴隨靈敏度方法（Adjoint Sensitivity Method）解決了這個問題。它不存儲前向傳播的中間狀態(tài)，只通過求解一個“伴隨方程”，即另一個ODE，來逆向計算梯度[28]。

具體地，定義伴隨狀態(tài)（adjoint state）：

即損失函數(shù) L 對時刻 t 隱狀態(tài)的梯度。可以證明，a(t) 滿足另一個微分方程：

訓練過程變成：

1. 前向：用ODE求解器從h(0) 積分到h(T)，計算損失 。

2. 反向：從終止條件 出發(fā)，逆向積分伴隨方程（從 t = T 到 t = 0），同時累積參數(shù)梯度 。

整個過程不需要存儲前向計算的中間狀態(tài)，內(nèi)存開銷也變?yōu)?strong>常數(shù)級，不隨深度增加。

圖10：伴隨方法的求解過程

這其實代表著，反向傳播本身就是一個動力學過程。伴隨變量a(t) 的逆向演化，與前向的隱狀態(tài)演化形成一對耦合的正向-反向微分方程。整個訓練完全脫離了層的概念，變?yōu)榻鈹?shù)學方程。

4.5 Neural ODE做時間序列預測

Neural ODE天然適合時間序列預測，因為時間序列本身就是動力學系統(tǒng)在時間上留下的軌跡。

回到我們?nèi)牡暮诵娜蝿眨航o定觀測序列 {s0,s1, …,sn}，對應時刻 {t0, t1, …, tn}（可以不均勻采樣），學習驅(qū)動系統(tǒng)演化的動力學。用Neural ODE來做，步驟異常自然：

1. 構(gòu)建方程：

2. 初始條件：s(t0) =s0（觀測的初始狀態(tài)）

3. 前向積分：用ODE求解器從s0 出發(fā)，積分到所有觀測時刻，得到預測值

4. 訓練：最小化

訓練完成后，fθ 就是學到的動力學法則。

這與前面章節(jié)的離散方法有一個本質(zhì)區(qū)別：Neural ODE在連續(xù)時間上定義動力學，可以在任意時刻給出預測——包括觀測時刻之間的位置。傳統(tǒng)的RNN或Transformer要求等間隔采樣，遇到缺失值需要額外處理；Neural ODE天然適配不等間距數(shù)據(jù)，因為ODE求解器本來就可以在任意時刻停下來讀取狀態(tài)。這對醫(yī)療數(shù)據(jù)（病人不同時間回訪）、天文觀測（非均勻采樣）等真實場景尤為重要。

更深層地看，fθ 不只是一個預測器——它是一個可積分的動力學方程。有了它，你不僅能預測未來（給任意新的初始條件 積分得到完整軌跡），還能做傳統(tǒng)動力系統(tǒng)分析：尋找不動點、分析穩(wěn)定性、研究分岔行為。這些工具過去只能用在人類手寫的方程上，現(xiàn)在可以用在數(shù)據(jù)驅(qū)動學到的模型上了。

原論文中有一個經(jīng)典的驗證實驗：用Neural ODE學習洛倫茲系統(tǒng)——混沌理論中最著名的“蝴蝶效應”模型[27]：

參數(shù)取 時，系統(tǒng)呈現(xiàn)混沌行為。實驗只給Neural ODE看部分維度的觀測值，讓它學習完整的三維動力學——結(jié)果成功重構(gòu)了洛倫茲吸引子的形態(tài)。這與動力系統(tǒng)理論中的Takens嵌入定理相呼應：部分維度的時間延遲序列足以重構(gòu)整個系統(tǒng)的拓撲結(jié)構(gòu)。Neural ODE不僅學會了這種重構(gòu)，還學到了連續(xù)時間的演化規(guī)律。

后續(xù)工作進一步拓展了這條路線：ODE-RNN將RNN的離散狀態(tài)更新替換為ODE連續(xù)演化，在觀測時刻之間用ODE插值，在觀測時刻用RNN式的跳躍更新；Latent ODE則結(jié)合變分自編碼器，將時序數(shù)據(jù)編碼到連續(xù)潛空間中執(zhí)行ODE演化，能夠處理不規(guī)則采樣和缺失值嚴重的數(shù)據(jù)[29-30]。

4.6 Neural ODE的問題

Neural ODE發(fā)表后，學界的反應兩極分化：理論家贊美其優(yōu)雅，實踐者抱怨其難用，它反映出連續(xù)與離散之間存在一道真實的鴻溝。

痛點一：訓練不穩(wěn)定。伴隨方法的數(shù)值誤差需要極其謹慎地控制——ODE求解器的容忍度（tolerance）設得太松，梯度會失真甚至發(fā)散；設得太緊，計算成本飆升。低階求解器（如歐拉法、中點法）可能導致不收斂，高階求解器（如Dormand-Prince 5階方法）效果更好，但每步需要多次評估 fθ（四階龍格-庫塔每步要算4次），遠比ResNet的單次前向傳播昂貴。

痛點二：表現(xiàn)不總是更好。在CIFAR-10等標準圖像分類任務上，調(diào)好的ResNet反而優(yōu)于Neural ODE。

ResNet不是Neural ODE的拙劣近似；恰恰相反，Neural ODE是ResNet的一個特殊極限。當ResNet的層數(shù)趨近無窮、同時每層的改變趨近于零，才得到Neural ODE。

ResNet每層有自己獨立的參數(shù)，可以自由適應不同深度的特征提取需求；Neural ODE所有層共享參數(shù) θ，意味著速度場 fθ 不隨時間改變——這是一個很強的假設。更根本地，ODE的解是同胚映射（homeomorphism），軌跡不會交叉，這意味著Neural ODE不能改變數(shù)據(jù)的拓撲結(jié)構(gòu)，比如把兩個分離的點簇合并到同一區(qū)域，但很多分類任務恰恰需要這種操作。

后續(xù)改進從多個方向縮小了這道鴻溝：

• Augmented Neural ODE（2019）：把隱狀態(tài)h(t) 擴展到更高維空間，加入額外的虛擬維度作為緩沖區(qū)，打破了拓撲限制——軌跡在高維空間中可以繞行而不必交叉[28]。

• GRU-ODE（2019）：將ODE與門控循環(huán)單元結(jié)合，在觀測時刻之間用ODE連續(xù)演化，在觀測時刻用GRU式的離散跳躍更新——兼得連續(xù)建模和離散修正的優(yōu)勢[31]。

• Stable Neural ODE（2021）：通過約束 fθ 的雅可比矩陣特征值，保證系統(tǒng)穩(wěn)定性，避免長時間積分中的梯度爆炸[32]。

真實系統(tǒng)經(jīng)常是不可完全預知的，相同的大氣初始狀態(tài)可能演化出晴天也可能演化出暴雨，相同的市場信號可能導向漲也可能導向跌。擴散模型把預測的輸出變?yōu)榱苏麄€可能軌跡的分布。

真實的系統(tǒng)往往也是連續(xù)變化的，前面所有方法都把時間切成等間隔的幀：t=1, 2, 3, …，模型實際上學到的是幀與幀之間的跳躍規(guī)則。Neural ODE 把離散的層替換成連續(xù)的微分方程，學習到的是速度場本身。

更深層地看，連續(xù)和離散不是非此即彼的對立面，它們是同一條光譜的兩端。ResNet 是 Neural ODE 的離散極限，Neural ODE 是 ResNet 的連續(xù)極限；擴散模型的去噪過程本身就是一個離散化的隨機微分方程。最好的實踐往往在兩端之間取得平衡：ODE-RNN 在觀測時刻之間用連續(xù)流，在觀測時刻用離散跳躍；Augmented Neural ODE 用高維空間繞開連續(xù)流的拓撲限制。

但還有一個問題沒有解決——成本。

每一個新系統(tǒng)，都需要從頭收集數(shù)據(jù)、從頭訓練模型。氣象要訓氣象的，金融要訓金融的，腦電要訓腦電的。有沒有可能，一個模型見過足夠多的動力學系統(tǒng)之后，面對全新的系統(tǒng)，不需要任何訓練就能給出靠譜的預測？

這就是第五階段要回答的問題：讓記憶跨越系統(tǒng)的邊界。

五、讓記憶跨越系統(tǒng)：

當一個范式能表示一切

上述所有方法都有一個共同的局限：它們是為特定系統(tǒng)訓練的，每換一個場景，就需要重新收集數(shù)據(jù)、設計架構(gòu)、訓練模型。而基礎模型的思路則完全不同：先在海量異質(zhì)數(shù)據(jù)上預訓練一個通用模型，再針對具體任務做少量微調(diào)甚至零樣本推理。這正是大語言模型驗證過的路徑，GPT不是為某一個文本任務訓練的，它在所有文本上完成預訓練，然后能做翻譯、摘要、問答等各種任務。

2024-2025年，大模型的風終于吹到了時間序列與動力學預測的陣營。

Time GPT率先提出了時間序列領(lǐng)域的零樣本預訓練范式。不同領(lǐng)域的時序數(shù)據(jù)（天氣、股市、電力負荷、心率等）在模式層面存在類似的結(jié)構(gòu)，例如趨勢、季節(jié)性、周期、突發(fā)擾動等，這其實就是一種通用的范式。Time GPT在大規(guī)模跨領(lǐng)域時序數(shù)據(jù)上進行預訓練，學習通用的時序模式，以實現(xiàn)需微調(diào)或僅需極少樣本即可完成新的預測任務上。初步實驗顯示，Time GPT在多個未見過的預測任務上的零樣本性能，已經(jīng)達到甚至超過了傳統(tǒng)模型的全監(jiān)督訓練水平[33]。

LASS-ODE（Large-Scale Small ODE）的做法則不同，它認為時序大模型應當顯式建模連續(xù)時間動力學，但全神經(jīng)網(wǎng)絡實現(xiàn)的Neural ODE在極大規(guī)模上訓練困難。LASS-ODE的設計思想是，將時間域分段，每段上用線性的、可閉式求解的小型ODE系統(tǒng)來近似局部動力學，并用專家混合（MoE）架構(gòu)讓不同段用不同的ODE系數(shù)，整體由一個大模型的路由網(wǎng)絡協(xié)調(diào)。這種方法兼具Neural ODE的連續(xù)時間表達能力和Transformer的可擴展訓練優(yōu)勢[34]。

而Aurora則代表了地球系統(tǒng)基礎模型的愿景，它用一個統(tǒng)一的模型同時處理：

• 氣象預報（溫度、氣壓、風速）

• 空氣質(zhì)量（PM2.5、臭氧、NO2濃度）

• 海洋動力（海浪高度、有效波周期）

• 極端事件（臺風軌跡、強度）

Aurora的架構(gòu)融合了多模態(tài)輸入編碼（衛(wèi)星圖像、地面站點時序、再分析數(shù)據(jù)）、時空Transformer主干、以及物理約束的輸出頭層。在微軟的內(nèi)部評估中，Aurora在多個任務上超越專門訓練的單一模型，展示了“單一模型學好地球系統(tǒng)”的可行性[35]。

雖然這些研究尚在早期，但它指向一個誘人的可能性：未來，我們可能不再為每個復雜系統(tǒng)單獨建模，向一個時間序列大模型提問，它便自動推理出演化軌跡。

結(jié)語：記憶的下一站在哪？

回到開頭的問題：如何從復雜系統(tǒng)的觀測數(shù)據(jù)中，自動學習其演化規(guī)律？

經(jīng)典方法和早期深度學習本質(zhì)上都在做快照預測，給定前幾幀，猜下一幀是什么。Neural ODE之后，思路變了：我們開始學習幀與幀之間的連續(xù)運動規(guī)律，預測只是這個規(guī)律在時間上的自然展開。

但這也暴露了一個更根本的問題：真實世界到底是連續(xù)的還是離散的？

物理學家說，時空在普朗克尺度下可能是離散的。計算機科學家說，我們只能用離散的算法模擬連續(xù)。而Neural ODE的自適應步長求解器似乎暗示了一種折中的答案：不必執(zhí)著于徹底連續(xù)或徹底離散，可以在兩者之間自由切換——在問題需要的地方精細積分，在問題簡單的地方大步跳過。

如果真實世界的動力學是隨機的——股票市場的波動、湍流中的渦旋——確定性的ODE還適用嗎？更遠地來說，是否能構(gòu)建一個模型，自動決定何時該離散跳躍、何時該連續(xù)流動、何時該引入隨機性？這已經(jīng)超越了任何單一框架，進入了元學習與通用智能的領(lǐng)域。

或許，答案不在模型里，在對世界的理解里。

參考文獻

[1]Takens, F. (1981). Detecting strange attractors in turbulence. In D. Rand & L. S. Young (Eds.), Dynamical Systems and Turbulence, Warwick 1980 (Vol. 898, pp. 366–381). Springer.

[2]Koopman, B. O. (1931). Hamiltonian systems and transformation in Hilbert space. Proceedings of the National Academy of Sciences, 17(5), 315–318.

[3]Schmid, P. J. (2010). Dynamic mode decomposition of numerical and experimental data. Journal of fluid mechanics, 656, 5-28.

[4]Williams, M. O., Kevrekidis, I. G., & Rowley, C. W. (2015). A data–driven approximation of the Koopman operator: Extending dynamic mode decomposition. Journal of Nonlinear Science, 25(6), 1307–1346.

[5]Jaeger, H. (2001). The “echo state” approach to analysing and training recurrent neural networks-with an erratum note. Bonn, Germany: German national research center for information technology gmd technical report, 148(34), 13.

[6]Maass, W., Natschl?ger, T., & Markram, H. (2002). Real-time computing without stable states: A new framework for neural computation based on perturbations. Neural computation, 14(11), 2531-2560.

[7]Luko?evi?ius, M., & Jaeger, H. (2009). Reservoir computing approaches to recurrent neural network training. Computer science review, 3(3), 127-149.

[8]Gonon, L., & Ortega, J. P. (2019). Reservoir computing universality with stochastic inputs. IEEE transactions on neural networks and learning systems, 31(1), 100-112.

[9]Jaeger, H., & Haas, H. (2004). Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication. Science, 304(5667), 78-80.

[10]Pathak, J., Lu, Z., Hunt, B. R., Girvan, M., & Ott, E. (2017). Using machine learning to replicate chaotic attractors and calculate Lyapunov exponents from data. Chaos: An Interdisciplinary Journal of Nonlinear Science, 27(12).

[11]Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.

[12]Bengio, Y., Simard, P., & Frasconi, P. (1994). Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks, 5(2), 157–166.

[13]Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

[14]Gers, F. A., Schmidhuber, J., & Cummins, F. (2000). Learning to forget: Continual prediction with LSTM. Neural Computation, 12(10), 2451–2471.

[15]Cho, K., van Merri?nboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder–decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) (pp. 1724–1734). Association for Computational Linguistics.

[16]Pascanu, R., Mikolov, T., & Bengio, Y. (2013). On the difficulty of training recurrent neural networks. In Proceedings of the 30th International Conference on Machine Learning (ICML) (pp. 1310–1318). PMLR.

[17]Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, ?., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems 30 (NIPS 2017) (pp. 5998–6008).

[18]Peng, B., Alcaide, E., Anthony, Q., Albalak, A., Arcadinho, S., Biderman, S., ... & Wang, C. (2023). RWKV: Reinventing RNNs for the Transformer era. In Findings of the Association for Computational Linguistics: EMNLP 2023 (pp. 14048–14077). Association for Computational Linguistics.

[19]Gu, A., & Dao, T. (2023). Mamba: Linear-time sequence modeling with selective state spaces. (arXiv:2312.00752). arXiv.

[20]Oord, A. van den, Dieleman, S., Zen, H., Simonyan, K., Vinyals, O., Graves, A., ... & Kavukcuoglu, K. (2016). WaveNet: A generative model for raw audio. (arXiv:1609.03499). arXiv.

[21]Wang, Y., Chen, Q., Sun, M., Kang, C., & Xia, Q. (2019). A deep ensemble learning method for short-term load forecasting. IEEE Transactions on Power Systems, 34(6), 4757–4767.

[22]Zhou, H., Zhang, S., Peng, J., Zhang, S., Li, J., Xiong, H., & Zhang, W. (2021). Informer: Beyond efficient transformer for long sequence time-series forecasting. In Proceedings of the 35th AAAI Conference on Artificial Intelligence (Vol. 35, No. 12, pp. 11106–11115). AAAI Press.

[23]Liu, Y., Hu, T., Zhang, H., Wu, H., Wang, S., Ma, L., & Long, M. (2024). iTransformer: Inverted transformers are effective for time series forecasting. In The Twelfth International Conference on Learning Representations (ICLR 2024).

[24]Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. In Advances in Neural Information Processing Systems 33 (NeurIPS 2020) (pp. 6840–6851).

[25]Rasul, K., Seward, C., Schuster, I., & Vollgraf, R. (2021). Autoregressive denoising diffusion models for multivariate probabilistic time series forecasting. In Proceedings of the 38th International Conference on Machine Learning (ICML 2021) (pp. 8857–8868). PMLR.

[26]He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).

[27]Chen, T. Q., Rubanova, Y., Bettencourt, J., & Duvenaud, D. K. (2018). Neural ordinary differential equations. In Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (pp. 6571–6583).

[28]Pontryagin, L. S., Boltyanskii, V. G., Gamkrelidze, R. V., & Mishchenko, E. F. (1962). The mathematical theory of optimal processes. Interscience Publishers.

[29]Dupont, E., Doucet, A., & Teh, Y. W. (2019). Augmented neural ODEs. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (pp. 3140–3150).

[30]Rubanova, Y., Chen, R. T. Q., & Duvenaud, D. K. (2019). Latent ordinary differential equations for irregularly-sampled time series. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (pp. 5320–5330)

[31]De Brouwer, E., Simm, J., Arany, A., & Moreau, Y. (2019). GRU-ODE-Bayes: Continuous modeling of sporadically-observed time series. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (pp. 7377–7388).

[32]Massaroli, S., Poli, M., Park, J., Yamashita, A., & Asama, H. (2020). Dissecting neural ODEs. In Advances in Neural Information Processing Systems 33 (NeurIPS 2020) (pp. 3952–3963).

[33]Garza, A., & Mergenthaler-Canseco, M. (2023). TimeGPT-1. arXiv preprint, arXiv:2310.03589.

[34]Li, H., Xiao, C., Mai, L., Weng, Y., & Blasch, E. (2025). LASS-ODE: Scaling ODE computations to connect foundation models with dynamical physical systems. arXiv preprint, arXiv:2602.01009.

[35]Bodnar, C., Bruinsma, W. P., Lucic, A., Stanley, M., Allen, A., Brandstetter, J., Garvan, P., Riechert, M., Weyn, J. A., Dong, H., Gupta, J. K., Thambiratnam, K., Archibald, A. T., Wu, C.-C., Heider, E., Welling, M., Turner, R. E., & Perdikaris, P. (2025). A foundation model for the Earth system. Nature.

參考文獻可上下滑動查看

來源：集智俱樂部

編輯：zzz

轉(zhuǎn)載內(nèi)容僅代表作者觀點

不代表中科院物理所立場

如需轉(zhuǎn)載請聯(lián)系原公眾號