西交大提出Fast LeWorldModel：動作前綴并行預測動態估計加速4倍

本文第一作者為西安交通大學碩士生高云天，通訊作者為西安交通大學教授許翔宇，其研究方向涵蓋世界模型、三維視覺與具身智能（個人主頁：https://xuxy09.github.io/）

在視覺規劃與具身智能中，“世界模型” 被認為是智能體走向通用決策能力的核心組件：在真正執行動作之前，先在潛在空間中 “想象未來”，再選擇最優行為。

但在視覺規劃里，這個 “想象” 過程往往很慢

以 LeWorldModel（LeWM）為例，它在規劃時有一個重要瓶頸：每評估一條候選動作序列，模型都要一步步自回歸 rollout。也就是說，LeWM 先預測下一步 latent，再把預測出的 latent 輸入 dynamics model，繼續預測下一步：

這種方式有兩個問題：一是規劃慢，CEM 需要反復評估大量候選動作序列；二是誤差會沿 imagined trajectory 累積，早期預測偏一點，后面可能越滾越偏。

針對這一瓶頸，西安交通大學研究團隊提出了Fast LeWorldModel（Fast-LeWM），試圖從根本上改變世界模型的預測方式：從 step-by-step rollout 變成 trajectory-level parallel prediction。

• 論文標題：Fast LeWorldModel
• 作者：Yuntian Gao, Xiangyu Xu
• 單位：西安交通大學
• 論文鏈接：https://arxiv.org/pdf/2606.26217
• 項目主頁：https://fast-lewm.github.io/
• 代碼：https://github.com/Yuntian-Gao/Fast-LeWorldModel

它的核心思想非常直接：不再用一步轉移模型反復 rollout，而是把一段動作序列的不同前綴作為預測單元，直接并行預測執行這些動作前綴后到達的未來潛變量，并且通過密集的監督迫使模型學會狀態隨著不同動作序列的演化過程，而非狀態的單步轉移。

換句話說，模型不再問：“執行下一個動作后會怎樣？”，而是直接問：“執行 1 個、 2 個、…… H 個動作后，分別會到達什么狀態？”

實驗顯示，在與 LeWM 相同的規劃協議下，Fast-LeWM 將平均成功率從 85.8% 提升到 90.5%；加入自一致性約束后進一步提升到92.0%。同時模型的 rollout 中的動態模塊耗時從31.4s 降至 8.0s，完整 CEM 求解時間從54.4s 降至 28.3s

Fast-LeWM 的 pipeline

Fast-LeWM 的方法由三部分組成。

第一步，視覺編碼器把當前觀測和未來觀測映射到 latent space：

第二步是Action-Prefix Encoder。它把候選動作序列通過 causal Transformer 編碼成一組 prefix tokens，每個 token 對應一個不同長度的動作前綴：

其中，第 k 個 prefix token 只包含前 k 個動作的信息：

考慮到同樣的動作序列在不同初始位置、物體狀態和接觸關系下對于動作會產生不同的后果，實際實現中，Fast-LeWM 還會把當前 latent z_t 映射成 state token，放在動作 token 序列最前面，為動作的編碼提供上下文信息。

第三步，Parallel Latent Predictor 使用當前 latent 和全部 prefix token，一次性輸出所有未來 latent

訓練時，Fast-LeWM 對每一個前綴的預測都施加監督，而不只是監督最終狀態：

最終目標保留 SIGReg 防坍塌正則：

這也是 Fast-LeWM 區別于 LeWM 的關鍵：模型不只學習狀態的局部變化，還要學習動作逐步累積時狀態如何連續變化。

Planning 時：

基于動作前綴的快速 rollout

論文這種動作前綴的設計還額外帶來了一個可選的 self-consistency scoring：模型一方面可以直接從長度為 H 的動作前綴預測終點；另一方面也可以先預測一個中間 latent，再從中間 latent 繼續預測剩余時域。兩種終點預測之間的差異被作為一致性懲罰項：

其中，β 控制 self-consistency 項的權重。當 β=0，Fast-LeWM 退化為只使用 goal distance 的 CEM 打分；當 β>0 時，CEM 可以選擇那些在不同 prefix 分解下預測結果一致的候選動作序列，進一步提升規劃穩定性。

成功率提升，

規劃時間近乎減半

實驗沿用 LeWM 的 goal-conditioned latent planning 協議，在 Two-Room、Reacher、PushT、OGBench-Cube 四個環境上評測:

結果顯示，Fast-LeWM 在四個任務上的平均成功率從 LeWM 的85.8%提升到90.5%；加入動作前綴預測帶來的額外 Self-Consistency 規劃項后進一步達到92.0%

效率提升更明顯。在相同 CEM budget、單張 NVIDIA 4090 上，Fast-LeWM 的 dynamics time 從31.4s降到8.0s，加速約4 倍，其中包含動作編碼和 predictor 預測時間。完整 CEM solve time 從54.4s降到28.3s，減少48.0%

另外開環情況下，Fast-LeWM 想象未來時的 latent 誤差和誤差隨 Horizon 的增長率也更小：

消融實驗：

不是簡單把動作塊變長就行

作者進一步通過消融實驗驗證了 Fast-LeWM 各個組件的作用。首先一個看似直接的加速方式是：把 LeWM 的動作塊變長，讓一次 transition 覆蓋更長時間。作者構造了 Long-Action LeWM，將原本 action encoding 從 5 個 primitive actions 改為 25 個 primitive actions, 結果效果并不好，Terminal-only Fast-LeWM 只監督最終 latent，不監督中間 prefix latent，表現優于 Long-Action LeWM，但仍低于完整模型。這說明 action prefix 本身已經是更有效的長時域表示，但 dense prefix supervision 對學習連續狀態演化仍然關鍵。

作者還發現，去掉 state token 后，模型在多個任務上性能下降。這進一步說明了動作編碼需要提供有效的上下文信息。

總結

Fast-LeWM 針對世界模型在規劃階段的關鍵瓶頸，提出了 action-prefix prediction 機制，將傳統的一步自回歸 rollout 改為并行多時域潛變量預測。

在相同 LeWM 評測協議下，Fast-LeWM 將平均規劃成功率從 85.8% 提升到 90.5%，加入 self-consistency 后達到 92.0%；同時將動態模塊耗時從 31.4s 降到 8.0s，將完整 CEM 求解時間從 54.4s 降到 28.3s。

更深層意義：

世界模型的瓶頸不在 “模型”，而在 “接口”

這項工作的核心啟示并不只是加速，更本質的是它表明，對于面向規劃的世界模型而言，動態模型的接口設計本身可能與表征學習目標同樣重要。相比一步步預測 “下一個 latent”，直接預測動作前綴導致的多時域未來狀態，或許是讓視覺世界模型走向高效規劃的一條更直接的路徑。這可能意味著，世界模型正在從 “逐步想象未來”，走向 “并行生成未來”。

視頻鏈接：https://mp.weixin.qq.com/s/JIvkoo1pKkzup4Q6RdTLyQ