arXiv：面向具身智能的世界模型綜述

導語

機器人自主操作、自動駕駛預判、智能體想象式決策的背后，是世界模型，具身人工智能的內部模擬器。它賦予智能體感知、預測與規劃能力，是下一代通用人工智能的核心基石。這篇工作首次提出功能-時間-空間三軸統一分類框架，系統梳理世界模型從決策專用到通用模擬的演進脈絡，量化對比全球頂尖模型性能，深度剖析領域核心挑戰與未來方向，為學術界構建了全景式知識圖譜，也為工業界技術落地指明了清晰路徑。

關鍵詞：世界模型（World Models），具身人工智能（Embodied AI），時間建模，空間表示，自主智能體 （Autonomous Agents）

王璇丨作者

趙思怡丨審校

論文題目：A Comprehensive Survey on World Models for Embodied AI 論文鏈接：https://arxiv.org/html/2510.16732v1 發表時間：2025 年 10 月 19 日 論文來源：arXiv

從認知科學到通用模擬器：世界模型的進化之路

世界模型的思想根植于認知科學，人類通過大腦內部模型整合感官、預判事件、指導行動。受此啟發，早期AI將其引入基于模型的強化學習，通過學習環境狀態轉移提升樣本效率與規劃能力。2018年Ha與Schmidhuber的開創性工作正式確立"世界模型"概念，證明循環神經網絡可編碼環境狀態、模擬未來軌跡以驅動策略優化，直接催生了經典的Dreamer系列模型。

大規模生成式與多模態學習的爆發，推動世界模型從任務專用的決策輔助工具，進化為高保真通用環境模擬器。OpenAI Sora、Meta V-JEPA 2等模型不僅能生成長時序連貫視頻，更能捕捉復雜物理規律與物體交互，為跨領域具身智能奠定了通用基礎。

但領域的快速發展也導致術語混亂、分類體系割裂，現有綜述多局限于功能視角或自動駕駛等單一應用，缺乏覆蓋全主流方法的統一框架。本次綜述提出的功能-時間-空間三軸分類法，正是為解決這一痛點而生，從三個核心維度構建了邏輯自洽的分類體系，為領域研究提供了標準化分析工具。

三軸統一框架：拆解世界模型的核心設計維度

三軸分類框架是該綜述的核心貢獻，它從功能耦合性、時間建模方式、空間表示策略三個相互關聯的核心維度，厘清了世界模型的設計邏輯與技術路線。

圖1. 該綜述的結構。沿三個軸對全球模型進行分類，并展示每種方法的代表性方案，為該領域提供了統一的視角

功能維度上，世界模型呈現決策耦合與通用目的的分野。決策耦合模型與下游任務深度綁定，在特定領域數據上訓練，以實時高效的控制為目標，代表如覆蓋800+任務的DreamerV3、自動駕駛MILE、機器人操作ManiGaussian。通用目的模型則在大規模無標注數據上預訓練通用物理規律，以跨域泛化為核心優勢，典型如Sora、V-JEPA 2，但存在訓練成本高、通用表示與具體決策銜接難的問題。

時間建模維度，核心是序列模擬與全局預測的權衡。序列模擬采用自回歸方式逐幀推演，結構緊湊、樣本效率高且天然支持閉環控制，從早期RNN到如今的Transformer 狀態空間模型（TSSM）、狀態空間模型（SSM）如 Mamba均屬此類，但存在長時序誤差累積的致命缺陷。全局差異預測并行估計完整未來序列，通過全局約束緩解誤差，以JEPA系列為代表，卻難以適配需要逐步決策的控制場景，當前研究正朝著融合兩者優勢的方向推進。

空間表示維度，呈現從低維抽象到高維幾何的進化路徑。全局隱向量計算高效但丟失細粒度空間信息，是早期模型的主流選擇。令牌特征序列依托Transformer與LLM技術，成為當前跨模態建模的主流。空間隱網格憑借BEV、體素等幾何先驗，在自動駕駛領域廣泛應用；分解渲染表示則基于3D 高斯濺射（3DGS）和神經輻射場（NeRF）等技術，通過可微渲染實現視角一致、物理可信的高保真預測，是當前最前沿的研究方向。

數據、評估與領域核心挑戰

數據與評估是世界模型發展的核心基礎設施，基于統一框架的量化對比則清晰呈現了領域進展與現存瓶頸。將數據資源劃分為四類：仿真平臺（MuJoCo、CARLA等）提供可控可擴展的虛擬環境，交互式基準（DMC、RLBench等）建立標準化性能標尺，百萬級軌跡的OXE等離線數據集支撐跨具身預訓練，Franka、Unitree系列等真實機器人平臺完成物理世界驗證。評估體系呈三層遞進：像素級質量（FID、FVD等）、狀態級理解（mIoU、mAP等）、任務級性能（成功率、樣本效率等），但當前指標過度側重像素保真度，忽視了物理一致性與因果推理等具身核心能力。

表1. nuScenes驗證集上開環規劃的性能對比

基于統一框架的量化對比顯示，DrivePhysica、MiLA分別領跑自動駕駛視頻生成的視覺保真度與時間一致性，COME在4D占用預測中表現最優，基于逆動力學的VidMan在機器人操作任務中成功率領先，SSR則在開環規劃中實現最低碰撞率。盡管進展顯著，領域仍面臨三大核心挑戰：一是數據與評估碎片化，缺乏跨域統一數據集與物理導向的評估標準；二是計算效率瓶頸，Transformer、擴散模型的推理成本難以滿足實時控制需求；三是建模策略的固有矛盾，自回歸的誤差累積、全局預測的交互性不足、空間表示的效率與表達性失衡，共同限制了長時序復雜任務的落地。

未來展望：走向統一、高效、物理可信的世界模型

針對上述挑戰，綜述指出了未來的研究方向。在數據與評估方面，需要構建統一的多模態跨域數據集，并發展能夠評估物理一致性、因果推理和長時序動態的新型指標。在計算效率方面，模型壓縮技術和新型架構是重要的突破點，它們有望在保持性能的同時，實現實時推理。在建模策略方面，融合自回歸和全局預測的優勢、引入顯式 3D 幾何先驗和物理約束、結合大語言模型的推理能力，將是構建下一代通用世界模型的關鍵路徑。

世界模型作為具身 AI 的核心，正在經歷從專用到通用、從 2D 到 3D、從像素到物理的深刻變革。這篇綜述提出的三軸統一框架，不僅為學術界梳理了清晰的研究脈絡，也為工業界的技術落地提供了重要參考。隨著數據、算法和算力的持續進步，我們有理由相信，未來的世界模型將能夠像人類大腦一樣，構建出物理可信、因果一致的內部世界，真正實現感知、預測與決策的統一，為通用人工智能的到來奠定堅實基礎。

具身智能讀書會

集智俱樂部聯合上海交通大學助理教授李永露、銀河通用機器人合伙人史雪松、南京大學LAMDA組博士生陳雄輝、香港大學在讀博士生穆堯，共同發起首季。讀書會計劃采用“自下而上”的層級結構，探討四個核心模塊：硬件系統（機器人本體設計），數據、仿真環境與Benchmark，機器人學習，具體場景任務。希望通過重點討論經典、前沿的重要文獻，幫助大家更好地學習機器人與具身智能技術前沿技術，為相關領域的研究和應用提供洞見。讀書會已完結，現在報名可加入社群并解鎖回放視頻權限。

詳情請見：

1.

2.

3.

4.

5.

6.

7.

8.

9.

#速遞