機器人需要「看到三維未來」！RynnWorld-4D重塑4D具身世界模型

問題背景：2D 視頻世界模型的表征局限

近兩年，視頻生成模型在具身智能領域受到持續關注。從 UniPi、SuSIE 到各類 action-conditioned video generation 變體，其核心思路一致：先由模型生成一段未來視頻，再從中提取動作信號供機器人執行。

這一范式存在一個長期未被解決的問題 ——2D像素預測與 3D 物理世界之間存在本質性的表征鴻溝。該鴻溝主要體現在三個方面。

其一，2D視頻不包含深度信息。機器人需要判斷目標物體與末端執行器的確切距離（例如 30 厘米或 50 厘米），而純像素預測只能給出物體在畫面中的大致方位，不足以支撐精確操控。

其二，2D 模型缺乏顯式的運動場。像素預測可反映物體發生了位移，卻無法給出每個像素在三維空間中的位移方向與幅度，而末端執行器的關節角需從這類三維運動中推導。

其三，缺乏幾何約束的視頻生成容易產生 “物理幻覺”。同一物體在相鄰幀間出現尺度變化或形狀形變，本應發生碰撞的物體互相穿模。這類瑕疵對人眼影響有限，但對依賴精確控制的機器人構成顯著的信號噪聲。

阿里巴巴達摩院最新工作 RynnWorld-4D 正是針對這一問題：世界模型在生成視頻的同時生成深度與光流，直接輸出帶有幾何結構與運動軌跡的 4D 預測。

• 論文標題：RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation
• 項目主頁：https://alibaba-damo-academy.github.io/RynnWorld-4D.github.io
• 論文鏈接：https://arxiv.org/abs/2607.06559
  
• 代碼鏈接：https://github.com/alibaba-damo-academy/RynnWorld-4D

表征設計：RGB-DF 構成物理錨定的 4D 表征

圖 1：RynnWorld-4D 整體流程。給定單張 RGB-D 圖像與一條語言指令，模型在同一擴散過程內同步生成未來的 RGB 視頻、深度圖序列與光流場。

RynnWorld-4D 的首要設計選擇，是采用 RGB-DF（RGB + Depth + Flow）表征，而非 RGB-DN（RGB + Depth + Normal）或 3D Gaussian / NeRF。

表面法線（Normal）描述的是靜態幾何屬性，即某一表面的朝向，適用于靜態重建；而操作任務更關注物體上某一點的運動方向與位移幅度。光流提供了每個像素在相鄰幀之間的 2D 位移；在已知深度圖的前提下，該 2D 位移可反投影回 3D 空間，得到三維場景流（3D Scene Flow）。

深度圖給出每個點在三維空間中的位置，光流給出其在下一幀的去向，兩者結合構成完整的 per-point 三維運動矢量。該表征與機器人的動作空間天然對齊 —— 末端執行器的位移本質上是三維空間中的軌跡。相比讓策略網絡從純像素變化中隱式推斷三維運動，顯式提供運動場更為高效。

不采用 NeRF 或 3DGS 的原因在于：這類方法幾何精度雖高，但需要多視角輸入，且難以繼承大規模視頻擴散模型的生成先驗。RGB-DF 保持了 2D 對齊形態，可直接在 Wan 2.2 等強視頻模型基礎上擴展，從而復用已有的紋理生成能力。

架構設計：三分支協同與跨模態對齊

圖 2：RynnWorld-4D 架構總覽。三分支 Transformer 分別建模視覺紋理、空間幾何與運動軌跡，并通過聯合跨模態注意力（JA）與幀級 3D RoPE 實現跨模態對齊。

RynnWorld-4D 的架構核心是：三種模態各自保留獨立的特征空間，并在關鍵節點強制對齊。

具體實現為三分支 Transformer，基于 Wan 2.2-TI2V-5B（30 層 DiT，hidden dim 3072）擴展。每個分支擁有獨立的 self-attention 與 FFN，分別處理 RGB 紋理、深度幾何與光流運動。消融實驗表明，若三種模態共享 FFN，性能顯著下降，原因在于紋理、幾何與運動的 latent space 本質異質，共用同一非線性變換會造成表示干擾。

為保證三條分支相互對齊，模型引入聯合跨模態注意力（Joint Cross-Modal Attention, JA）：每隔 3 個 Transformer block 插入一個 JA 模塊（共 10 個），每個分支的 query 會 attend 到另外兩個分支的 key/value。

• RGB 分支在生成紋理時，參考深度提供的幾何邊界與光流提供的運動方向；
• 深度分支在生成幾何時，從 RGB 紋理中獲取物體邊緣等線索；
• 光流分支在預測運動時，結合深度變化與紋理位移校準方向。
• 
  

JA 中的 cross-attention 會為 query 與 key 施加幀級的 3D 旋轉位置編碼（3D RoPE），使跨模態注意力僅在同一時間幀的空間對應位置生效，而非進行全局語義平均。消融實驗顯示，去掉 3D RoPE 后深度精度（δ1）由 0.610 降至 0.450、光流誤差（AEPE）由 0.170 升至 0.210，表明空間級對齊是必要的。

分階段訓練：模態適配與聯合對齊

三個分支無法直接從頭聯合訓練：RGB 分支繼承了預訓練視頻模型的強先驗，而深度與光流分支需重新適配不同的數據分布。為此，RynnWorld-4D 采用三階段策略。

Stage 1（模態適配）：關閉 JA 模塊，三個分支獨立訓練。深度與光流分支從 RGB 預訓練權重出發，適配至各自的目標分布。

Stage 2（凍結主干 + 訓練 JA）：凍結三個分支的 backbone，僅訓練新插入的 JA 模塊，用于建立跨模態對齊路徑，同時不破壞已學到的模態內表示。

Stage 3（全參數聯合微調）：解凍全部參數，在完整數據集上進行聯合 SFT，進一步精化三模態協同。

此外，訓練中采用 Branch Dropout 機制：隨機丟棄深度或光流分支的輸入（Stage 2 概率 0.2，Stage 3 概率 0.1），迫使 JA 從可見模態重建缺失模態。該機制使推理階段在部分幀深度估計存在噪聲時，模型仍可通過 RGB 與光流相互補償。

數據構建：2.54 億幀 4D 數據的標注管線

圖 3：Rynn4DDataset 1.0 的數據構成。

4D 世界模型的核心瓶頸之一是：同時具備 RGB、深度與光流標注的大規模視頻數據幾乎不存在。RynnWorld-4D 的解決方案是自建 Rynn4DDataset 1.0—— 融合人類第一人稱活動視頻（Epic-Kitchens、EgoVid）與多源機器人操作數據（RoboMIND、RDT-1B、Galaxea、RoboCoin、AgiBot），總規模超過 2.54 億幀。

在數據規模之外，標注質量是關鍵。每一幀均經過三重標注：由 Qwen3-VL 生成細粒度語言描述，由 Depth Anything 3 估計深度圖（統一歸一化至 0–5 米），由 DPFlow 計算稠密光流。該標注流水線使任意一段普通視頻都能轉化為帶 4D 標簽的訓練樣本，從而緩解真實 4D 標注數據稀缺的問題。

消融實驗驗證了數據規模的作用：去掉大規模預訓練后，光流誤差（AEPE）由 0.170 升至 0.729，惡化超過 4 倍。這表明僅依賴少量任務數據不足以學到復雜的時空動態先驗，數據規模對 4D 世界模型具有決定性影響。

策略學習：單次前向推理生成動作

世界模型用于策略學習的常見方式是：先完整執行去噪過程生成未來視頻，再由 inverse dynamics model 從視頻中提取動作。該流程的主要問題是延遲高 —— 多步去噪、視頻解碼與逆動力學疊加，使高頻閉環控制難以實現。

RynnWorld-4D-Policy 不要求世界模型完成完整生成過程，而是直接從 RynnWorld-4D 的中間層特征中提取 4D 信息，具體為第 15 層 Transformer block 在 diffusion timestep t=500 時的 hidden state。此時的中間 latent 已編碼未來的幾何演化與運動趨勢，尚未被解碼為可視化視頻幀。

隨后，一個 Flow Former 將高維特征壓縮為固定大小的 token，一個輕量的 flow matching head 通過 4 步 ODE 采樣輸出 10 步動作（54 維）。整個推理僅需一次前向傳播，無需迭代去噪。

在單張 RTX 5090（FP8 量化 + FlashAttention 3）上，完整推理周期約 1.1 秒。由于每次輸出 10 步動作并行執行（action chunking），實際有效控制頻率約為 9 Hz，可覆蓋大多數人類尺度的操作任務。

實驗結果：4D 預測能力的量化驗證

生成質量：幾何精度與視覺保真度

表 1：4D 生成質量定量評測與結構消融。指標涵蓋視覺保真度（RGB）、幾何結構（Depth）與運動（Flow）；N/A 表示該基線不具備生成對應模態的能力。

在 50 段測試視頻上，RynnWorld-4D 的生成質量可從三個維度評估。

視覺保真度：與純視頻生成模型 Wan-14B 持平或更優（SSIM 0.754 vs. 0.536），表明引入深度與光流分支未降低 RGB 質量，反而通過互約束提升了結構一致性。

幾何精度：深度 δ1 為 0.610，是 TesserAct（0.279）的 2.2 倍、4DNeX（0.327）的 1.9 倍，驗證了聯合跨模態注意力的有效性。

運動精度：AEPE 為 0.170，是當前唯一能同時輸出稠密光流場的 4D 世界模型；其他方法或不生成光流（TesserAct、Free4D），或不具備運動場輸出能力。

圖 4：生成效果展示。RynnWorld-4D 同步生成時間連貫的 RGB、深度與光流序列，幾何結構清晰、跨模態邊界精確對齊。

定性結果呈現三個特征。其一為跨模態一致性：深度圖中的幾何邊界與光流中的運動邊界均與 RGB 紋理變化精確對齊，模態之間不存在割裂；例如機械臂拾取蘋果時，深度圖中蘋果輪廓的變化與光流中蘋果的運動向量保持同步。其二為物理真實性：無論人手操作還是機械臂軌跡，模型均能準確刻畫物體位移與多接觸點交互等復雜 4D 動態。其三為時序穩定性：生成序列在時間維度上結構穩定，未出現傳統視頻模型常見的物體閃爍或形狀突變；即使在多物體近距離交互場景下，深度與光流分支的互約束也有效抑制了尺度抖動與形變。上述結果表明，在同一擴散去噪過程中聯合建模 RGB、深度與光流，三者之間形成了較強的物理互約束。

策略表現：雙臂靈巧操作任務對比

圖 5：六項真實世界雙臂靈巧操作任務示意及成功率對比。

策略評估在六項真實世界雙臂靈巧操作任務上進行（每項 35 次試驗）。硬件平臺為天機 M6 雙臂機器人，配備 WUJI HAND 靈巧手，通過 RealSense D435i 獲取第一人稱視角圖像作為觀測輸入。對比基線包括 Diffusion Policy、π0 與 π0.5。值得關注的對比結果包括：

• 雙手物體傳遞（Hand-over）：RynnWorld-4D-Policy 成功率為 28.57%，π0 為 2.86%，π0.5 為 0%。該任務需要推理兩個高自由度末端執行器之間的相對三維距離與潛在自遮擋，2D 策略難以完成，而 RynnWorld-4D 的 4D latent 本身包含此類幾何信息。
• 
  
• 蓋子放置（Lid Placement）與碗具堆疊（Bowl Stacking）：均達到 65.71%，較次優方法高出 8.5%。兩項任務對空間精度要求高（蓋子需對準盒口、碗需平穩疊放），深度與光流提供的顯式幾何信號在此發揮關鍵作用。
• 
  
• 關于 π0 / π0.5 在上述任務上表現不佳的原因，論文給出兩點分析：其一，其預訓練數據以平行夾爪為主，缺乏靈巧手先驗；其二，在雙手協作場景中，純 2D 表征無法有效推理兩個末端執行器之間的空間關系。這屬于表征空間的根本限制，而非單純的數據量不足。

論文進一步進行了模態貢獻的消融。僅使用 RGB latent 時，多數任務成功率較完整模型低 10–20 個百分點；加入深度后，空間精度要求高的任務（如 Hand-over、Bimanual Lifting）明顯受益；加入光流后，運動敏感任務（如 Block Pushing）表現提升；三者聯合時達到最佳。該結果驗證了 RGB-DF 表征的協同價值：紋理提供外觀語境，深度提供空間錨定，光流提供運動線索。

展望：4D 世界模型的下一步

回望這條路線，具身世界模型正從二維視頻想象走向四維物理推演。RynnWorld-4D 第一次在單一擴散框架內實現了 RGB - 深度 - 光流的協同生成，并證明這種 4D 預測能力可以直接轉化為真機閉環控制的增益。當然，約 9 Hz 的頻率對超高頻精密任務仍是瓶頸，單一第一人稱視角也尚未覆蓋多機協作 —— 這些正是推理加速與多視角拓展的方向。而隨著操作任務對精準三維理解的需求不斷加深，能同時預測幾何與運動的 4D 世界模型，或許會成為連接感知與決策越來越關鍵的一環。