具身智能的“大平行理論”會成真嗎？

過去一年，世界模型和具身智能幾乎成了 AI 圈最熱的兩個關鍵詞。但真正的問題是：機器人會不會像大語言模型一樣，走出一條突然收斂、快速規模化的技術路線？

這篇文章來自 Fusion Fund 的兩位投資人 Charlotte Xia 和 Matt Wong。他們以英偉達科學家 Jim Fan 提出的 “The Great Parallel” 為切口，討論具身智能是否可能復刻 LLM 的發展路徑：先通過大規模預訓練建立世界理解，再通過行動和物理環境完成對齊。

文章沒有急著給出結論，而是把當下具身智能的幾個關鍵分歧擺了出來：世界模型到底是不是答案？機器人數據該怎么積累？創業公司的機會又會落在哪里？

以下是完整編譯。

在深入討論之前，讓我們先明確本文中“世界模型”的定義。我們借鑒了清華大學 Jingtao Ding 等人最近的世界模型綜述，其中提供的定義與本文語境契合：

世界模型圍繞兩個核心功能構建：（1）構建內部表示以理解世界的運作機制，（2）預測未來狀態以模擬和指導決策。

在具身 AI 的語境下，決策指的是物理智能體（如機器人、自動駕駛車等系統）如何選擇動作以在現實世界中完成目標。

1

模型分歧：VLA vs. 世界模型 vs. 其他

視覺-語言-動作（VLA）模型將觀測（圖像、語言指令和機器人狀態）直接映射到機器人動作。具體而言，它承諾了可泛化的具身控制：預訓練的視覺-語言模型（VLM）骨干提供了豐富的視覺-語義先驗知識，動作解碼器將這種語義理解轉化為連續的運動指令。然而，VLM 通常在靜態圖像-文本數據集上預訓練，繼承的時空先驗有限。從根本上說，VLA 在文本空間中運作——這是一種符號化的、與動作無關的抽象，可能缺乏物理世界的關鍵信息，例如時空理解。

近期，世界建模被廣泛討論為機器人學習中脫離 VLA 范式的范式轉變。如上所述，許多現代世界模型是基于視頻模型的機器人策略，將繼承了豐富多樣時空先驗的擴散骨干與逆動力學模型配對，從生成的視頻中提取控制動作——這一方法由 Yilun Du 等人在 UniPi 中開創。更新的研究更進一步，聯合預測動作和未來世界狀態，如 NVIDIA 最近的 DreamZero 論文。更深層的轉變在于機器人學到了什么：不再是某個特定機器人應該如何移動，而是世界本身的物理動態，這可以跨形態遷移。由于世界模型是以動作為條件的，它還可以被交互式查詢，讓機器人通過反事實推理（“如果我這樣做會怎樣？”）并實時規劃。相比之下，VLA 往往以單次方式將記憶的場景映射為動作，因此在訓練中從未展示過的未見、非結構化環境中會陷入困境。盡管如此，在像素空間中進行推理仍然是開放研究問題，因此大多數世界模型目前缺乏推理能力。

事實上，最近的幾篇論文已證明世界模型在樣本效率和泛化能力上優于 VLA。NVIDIA 的 DreamZero 在未見任務和環境上實現了相對于最先進開源 VLA 的 2 倍提升。它還解鎖了 VLA 無法高效利用的訓練數據結構：VLA 需要重復的演示（例如“拾取杯子”執行 50 次），而 DreamZero 的一個單集是一段連續 5 分鐘的遙操作序列，涵蓋大約 42 個不同的子任務。

DreamZero 展示了對未見任務的零樣本泛化。它在訓練中缺失的 10 個任務上取得了可觀的任務進展，而 VLA 在兩種形態上都表現掙據。在 AgiBot G1 上，從零訓練的 VLA 任務進度接近零（<1%），而 DreamZero 平均達到 39.5%。參見 Seonghyeon Ye 等人的論文《World Action Models are Zero-shot Policies》（arXiv, 2026）。

然而，該領域仍處于非常早期且不斷演進的階段，尚不清楚哪種模型架構將成為贏家。Physical Intelligence 公開承認，他們曾經花了一些時間押注世界模型將在任務泛化上大幅擊敗 VLA；這個賭注最初得到了回報，直到他們自己的 VLA 基線隨著更多數據的引入趕了上來，也開始展示泛化能力。RoboArena 排行榜展示了一個高度動態的局面，其中在 VLA 模型和新興世界模型之間持續的架構辯論中，分數仍在顯著變動。

盡管如此，一些研究人員認為，從長遠來看，視頻生成骨干仍是次優的，無法單獨實現物理智能。他們的論點是，機器人學不需要像素級別的視頻保真度，而人類智能調用的感覺信息遠比視覺更加多樣——從觸覺到本體感覺到前庭反饋——因此完全基于視覺的架構可能不是最終答案。這開辟了混合范式的空間，將 VLA 的語義理解用于高層任務分解，同時用世界模型的預測性、生成性動態來補充，邏輯是各自彌補對方的弱點。最宏大的賭注是“全能模型”，以 NVIDIA 最近發布的 Cosmos 3 為代表，它將視覺推理、世界生成和動作預測結合在一個系統中，原生地理解和生成文本、圖像、視頻、環境聲音和動作，而不是拼接單獨的模塊。

1

數據擴展分歧

近幾個月來幾家機器人基礎模型公司的發布表明，在收集和擴展什么數據上也沒有收斂。Generalist 收集了 50 萬小時 UMI 風格的物理交互數據，開創了 UMI 風格數據擴展作為機器人基礎模型新底層的先河。Physical Intelligence 的 π0.7 利用 VLA 模型使用非常多樣化的數據，這是機器人數據（多樣環境中的野外和實驗室數據：演示數據、失敗數據、自主數據，跨不同機器人平臺，包括靜態和移動、單臂或雙臂）和非機器人數據（多模態網絡數據、自我中心人類數據）的組合。LingBot-VLA 是目前在 2 萬小時遙操作機器人數據上訓練的最大單一開源發布之一。Rhoda 認為網絡視頻是捕捉動態物理世界的最可擴展數據源，其系統在數億小時的網絡視頻數據上進行預訓練。

盡管這些團隊押注的數據策略截然不同，但它們似乎正在匯聚于同一個原則：在現階段，擴展數據和策劃正確質量的數據，比模型架構的標簽更重要。

如果我們相信具身 AI 遵循類似 LLM 的擴展定律，我們如何能觸及互聯網規模的數據來解決機器人問題？挑戰的規模是巨大的：正如 Ken Goldberg 的著名框架所述，相對于當今大型語言和視覺模型背后的數據，機器人面臨 10 萬年的“數據鴻溝”。彌合它意味著找到實際可擴展的數據源。從第一性原理出發，大規模網絡視頻是行業可以利用的最豐富的視覺數據，如果模型能學會良好的動態并將學習遷移到機器人上的話。遙操作機器人數據是最不可擴展的，因為它通常需要高昂的設置成本，而且數據也缺乏多樣性。處于中間的是通過輕量級可穿戴硬件（如頭戴、腕戴相機）采集的第一人稱視角數據，即自我中心視角，或 UMI（通用操作接口）風格的硬件框架或傳感器手套，直接從人類演示中學習，而無需昂貴的機器人在回路遙操作。最終目標是盡可能少地使用機器人數據，但當前的機器人策略還不夠泛化，遙操作短期內不會消失。

Chelsea Finn 在 CVPR 2026 Workshop 上展示的最新研究提供了一個早期信號。當預訓練數據在場景和任務上達到足夠的多樣性時，人-機器人遷移開始涌現。關鍵的是，在足夠多樣化的機器人數據基礎上，加入人類視頻數據可以將機器人從未直接觀察過的新泛化設置上的任務成功率幾乎翻倍。性能上限隨數據多樣性而擴展，但該領域尚未確立什么是“足夠”，或如何高效地達到。

1

世界模型的表示密度分歧

鑒于世界模型的初生狀態，學術界和產業界都存在關于如何最佳地表示給定世界狀態的結構性辯論。具體而言，它們在抽象級別上有所不同，這導致了在建模能力、樣本效率、泛化、任務對齊、可解釋性和計算成本方面的權衡。目前主要有三大學派：像素級、潛在級和顯式 3D 幾何表示。

像素級模型直接用原始像素預測世界，表示的密度確保了照片級的真實感和無損的世界投影。然而，它可能會優先考慮像素重建而非語義重要性，并可能導致冗余。此外，逐幀預測的視頻生成模型計算成本很高。在具身 AI 中使用時，模型可能浪費大量能力去預測實際上對決策無關的高頻細節（例如樹上單獨移動的樹葉）。

顯式 3D 幾何模型優先考慮結構：不是重建每個像素，而是直接編碼場景的幾何配置——其內容的位置、形狀和空間關系——作為模型推理的基元。幾種方法處于不同的抽象級別。粒子方法在物體上散布密集的離散點以捕捉表面和體積；關鍵點更稀疏，僅保留少量具有語義含義的任務相關點；物體中心表示最為抽象，在相互作用的物體層面建模動態。每種方法適用于不同的任務：物體中心表示擅長多剛體操作，而粒子更好地捕捉可變形和非剛性物體。在靜態狀態之外，Wenlong 等人的 PointWorld 將動作本身表示為 3D 點流，這是一種與形態無關的表述。我們的投資組合公司 Sancho 使用基于粒子的表示，他們發現這種方法計算高效且能實現穩健的長視野導航。

潛在級模型用潛在空間中的緊湊特征集表示世界，這些特征是預測未來所必需的，并在學習和計算效率以及泛化能力上勝出。Yann LeCun 一直是潛在級模型的長期倡導者——在他 2022 年的論文中提出了聯合嵌入預測架構（JEPA）。JEPA 將訓練目標設定為預測下一個潛在向量，并訓練專用編碼器消除不利于預測的無關細節。Danijar Hafner 等人的 Dreamer 系列論文表明，智能體可以在潛在想象中學習行為。

為了調和這些結構性辯論，一個新興學派主張打破這些單一范式之間的剛性邊界，轉而采用多級混合世界表示。在他們 2026 年的視角論文中，Jiajun Wu 等人提出了一種結構化的馬爾可夫世界模型，它利用顯式表示將世界模型直接地基于基礎模型的推理空間——保持學習到的概念可解釋——同時依賴隱式潛在特征來捕捉幾何、紋理和物理的富表達、稠密復雜性。關鍵的是，這種混合方法是朝著構建穩健可泛化世界模型的一個令人興奮的研究方向。

總體而言，具身 AI 在模型、數據和表示空間上仍存在實質性分歧。畢竟，LLM 領域也曾看起來同樣碎片化——RNN、LSTM 等循環架構主導著該領域，卷積神經網絡前景可期，注意力機制尚處于初生狀態。然而，當 2017 年《Attention Is All You Need》發表并將 Transformer 確立為 LLM 時代的事實架構時，行業指數級起飛。有人可能會說，具身 AI 也正在為同樣的收斂做準備。

1

“大平行”會成真嗎？

2026 年，NVIDIA 的 Jim Fan 提出了“大平行”理論：具身 AI 將循與 LLM 相同技術增長弧線的論斷?；A性的第一步是在統一的預訓練范式上實現收斂，無論是模型架構還是數據擴展定律。但我們會很快看到預訓練范式的收斂嗎？如果會，收斂的速度會是多少？

我們認為，兩個結構性瓶頸阻止了具身 AI 中類似的預訓練收斂。

1

瓶頸一：該領域缺乏共享的成熟評估系統

LLM 之所以收斂，部分原因是 Arena AI 等基準平臺給了社區一個共同的標尺。然而，具身 AI 由于結構性挑戰尚無等價物。首先，該領域缺乏明確的基本事實。機器人的形態和任務比語言領域多樣得多，而且成功往往是模糊的：如果兩個機器人以不同方式拾取和放置物體，兩者都不明顯更優，也沒有單一指標能捕捉泛化能力。其次，真實世界測試仍是評估的黃金標準，但成本高昂且不可擴展。第三，大多數基準只評估機器人的原子操作：特定物體的拾取和放置、已知樓層平面的導航等。這存在一種基準過擬合動態，社區專門針對已知評估迭代模型，這會通脹性能而不改善底層泛化能力。

對更可擴展的模擬基準的需求正在增加，但仿真到真實的差距仍然很大，需要人工努力來改善泛化。一個令人興奮的研究方向是 Sherry Yang Lab 的 WorldGym，一個基于世界模型的策略評估環境，用于替代昂貴的真實世界機器人測試。RoboArena 是 2025 年發表的另一個有前景的方法。其核心洞察借鑒自 LLM 評估（Chatbot Arena）——不是固定基準，而是使用眾包的雙盲對比。但它受限于 DROID 平臺硬件，這限制了誰可以參與，而且與成熟的 ML 基準相比，任務覆蓋仍然非常有限。我們認為，在評估成熟且基準到部署的性能差距變小之前，模型分歧是理性的均衡。

1

瓶頸二：該領域的資本結構主動維持分歧

AMI Labs 基于 JEPA/潛在空間理論融資 10.3 億美元。World Labs 基于顯式 3D 表示融資 10 億美元。Rhoda 基于其直接視頻-動作模型融資 4.5 億美元。Physical Intelligence 基于 VLA 融資 6 億美元。每家公司都有數年的跑道讓其理論充分發展，而市場壓力不會強制它們做出決定，而且它們幾乎沒有激勵去開源任何研究進展。

1

收斂的早期信號

盡管有結構性的理由認為分歧將長期存在，但也有收斂的早期信號。

在基于視頻生成的世界模型方面，擴散 + 自回歸混合模型是常見方法：在架構上，該領域歷史上同時追求擴散和自回歸生成骨干。擴散模型是現代視頻生成的主要骨干，因為其迭代去噪自然地建模連續、時間連貫的輸出。另一方面，自回歸方法受益于強因果不確定性、進行高效樹搜索推理的能力以及靈活的視野訓練。但它受到誤差傳播的困擾，因為它必須以自己不完美的預測為條件。為了調和這一差異，我們越來越多地看到兩者的混合。在 NeurIPS 2025 世界模型工作坊上，Yilun Du 指出，Diffusion Forcing 等方法為每個 token 分配獨立的噪聲級別，允許近未來被更充分地去噪，而遠未來保持相對噪聲狀態。結果是一個具有下一 token 預測的靈活性的概率序列模型，同時又能實現全序列擴散的長視野引導。

當我們談論實時控制時，分層系統仍是目前的實用解決方案：這一框架類似 Kahneman 的人類認知雙過程理論：快速的系統 1 產生反應性動作，較慢的系統 2 處理語義、長視野推理和規劃。兩個力量解釋了這種收斂。首先，語義規劃和原始運動執行之間存在根本性的頻率差距。鑒于當前的計算限制，在大眾化硬件上同時編碼互聯網規模的先驗并閉合 200 Hz 控制回路是不切實際的。其次，分層系統實現了跨形態的模塊化泛化。推理和一般運動在不同機器人身體之間大部分是共享的，因此抽象的上層可以復用，而特定形態的微調則集中在處理操作和關節控制的下層。然而，端到端模型的反論是，它們定義為在單個梯度傳遞中訓練整個網絡，避免了在分別訓練的層之間的接口處引入的信息損失，并讓系統聯合優化而不是擔心梯度如何跨模塊邊界傳播。

Figure 的 Helix 跨三個時間尺度分解堆棧。系統 2 以 7–9 Hz 緩慢推理目標；系統 1 以 200 Hz 將感知直接轉化為全身關節目標；而在 Helix 02 中引入的系統 0 以 1 kHz 執行，處理平衡、接觸和全身協調。

雖然許多公司在押注預訓練解決泛化問題，但在短期內，在預訓練范式完全收斂之前，持久的位置屬于同時擁有模型開發和前沿部署的全棧玩家。公司可以設計定制的數據采集管線，并在不同模型架構上利用后訓練，不僅優化性能指標，而且優化與業務結果掛鉤的具體 ROI。我們認為，在短期內，護城河是通過部署形成的數據飛輪本身，而不是它之上的架構。

從更長遠來看，如果收斂發生，我們可能會看到開源模型上的活動大幅增加，以縮小與專有模型的差距，可能會重演從 LLaMA 到 DeepSeek 的弧線。這種動態將在很大程度上受到領先 AI 國家的戰略優先級塑造，其中幾個國家已將開源發布作為核心重點，加速了能力擴散的全球步伐。中國深度整合的硬件供應鏈賦予了其生態系統在大宗商品化機器人硬件上的結構性成本優勢，西方競爭對手將很難在價格上匹配。開源模型和便宜的硬件共同創造了一個新的部署表面：真正的機會在于解決最后一英里問題——將能力強大的模型和硬件可靠地部署到特定垂直領域（例如醫療、制造、物流），在那里數據混亂、延遲和 ROI 至關重要。這將催生一波新的參與者，他們可以利用開放權重和大宗商品化硬件來構建可防御的、垂直整合的部署。

1

創業機會

我們的興趣領域映射到本文的兩個時間視域：預訓練范式收斂前的碎片化景觀，以及如果收斂發生后的統一范式。在短期內，在主導預訓練方法出現之前，我們看到最引人注目的機會在于評估、定向數據策劃和同時擁有模型開發和前沿部署的全棧垂直整合商。收斂后，一旦物理交互標準建立且價值向下游遷移，我們可能會看到驅動部署優化的創業公司的新機會，無論是邊緣/云端推理、記憶層還是其他。然而，細微差別在于，融資已經高度集中在基礎模型公司，其中許多已經擁有前沿部署層。因此，收斂的速度與部署的速度在競爭，創業公司可能需要提前布局，在基礎模型公司將部署觸角擴展到足以使基礎設施層成為被捕獲市場而非爭奪市場之前。

1

預收斂時代

1

全棧、垂直特定的整合商，同時擁有模型開發和前沿部署

在短期內，我們認為機器人領域最持久的價值創造將屬于全棧、垂直特定的整合商——擁有模型開發、集成硬件并進行前沿部署的單一閉環公司。這一信念直接來自部署現實對該領域的教訓：一個在基準上表現良好的模型與一個在客戶現場交付價值的模型之間的差距，只有擁有真實生產循環的團隊才能彌合，而這個循環不能由堆棧的任何單一層單獨構建。沒有部署的模型團隊無法獲得實際成熟能力的后訓練信號。沒有模型的硬件團隊無法知道其設備在出貨六個月后是否還會被使用。沒有研究控制權的部署團隊無法在現場失敗時修復底層基元。

1

機器人控制策略的評估至關重要，世界模型在這里可以有用

機器人控制策略的評估是機器人技術棧中一個關鍵且投資不足的層。如上所述，當前方法陷入了三難困境：真實世界測試昂貴且難以大規模復現，手工制作的模擬器需要大量人工維護且存在仿真到真實的差距，而狹窄的任務特定基準無法捕捉泛化能力。World-Gymnast 提出不僅將世界模型用于評估，還作為強化學習的環境，在真實操作基準上大幅優于監督微調和基于仿真的強化學習。這些方法指向了一個新的范式：世界模型可以作為可擴展、可復現的評估和后訓練基礎設施，這可能是更廣泛的機器人學習生態系統的基礎能力解鎖。

1

定向數據策劃平臺

我們交流過的多位研究人員指出，高質量數據策劃仍是訓練穩健世界模型的關鍵瓶頸。在預訓練中，大多數世界模型在互聯網規模視頻和機器人演示視頻上訓練，確保任務、場景、運動和形態的多樣性至關重要。在后訓練中，需求轉向了帶有精細動作標簽的特定形態數據（如手部姿態估計），以使模型在特定機器人上可控。隨著任務變得更加靈巧，對力和觸覺數據的融入的需求不斷增長，以及超長視頻（超越 5 秒片段）用于長視野生成。

然而，即使有了正確的數據，當前的世界模型在現實世界的物理理解上仍有不足，并會幻覺出物理故障。當它們擴展到任務關鍵型用例時，基于物理、時空一致的推演成為必不可少的。然而，當前的評估依賴于人類對松散定義的評分標準的標量偏好（如簡單的通過/失?。皇蔷_的物理獎勵，這可以告訴我們哪個視頻更好，但無法識別失敗的時間、位置和類別。我們認為，構建一個穩健的世界模型評判器，需要更精細的標注方法，其中訓練有素的專家提供物體和場景時空狀態變化的推理軌跡。

1

更好的長視野任務記憶表示

為長視野機器人任務開發更好的記憶表示仍是一個開放研究問題。進展正沿兩個前沿推進。在記憶層，核心挑戰是存儲什么和如何壓縮。一些有趣的研究工作如 MEM（Torne 等人）用雙模態方法解決這個問題：用于短視野回憶的稠密視頻編碼和用于長視野語義的自回歸更新的語言摘要，而 MemER（Sridhar 等人）采用基于檢索的方法，訓練 VLM 提名和聚類跨越完整情節的任務相關關鍵幀。

在模型層，研究人員將記憶直接嵌入表示結構：顯式幾何記憶（3D 點云、NeRF、4D 運動動態）條件化視頻生成骨干；通過測試時訓練的持續學習，使模型學會選擇性地壓縮和向前傳遞任務相關信息，直接解決困擾基于 Transformer 的長視野任務方法的 KV 緩存爆炸問題；JEPA 風格的潛在預測將記憶維護為抽象嵌入，丟棄低層細節以保持記憶的語義壓縮和有界。

1

后收斂時代

1

推理優化，通過邊緣計算加速實時控制

當前的世界模型有很大的推理開銷，無論是解碼速度還是所需的計算資源，這阻止了實時閉環生成。對于具身 AI 而言，模型主要被托管在機器人本體上，以確保關鍵決策的延遲。為了解決這個問題，推理優化可以在硬件、軟件和模型層面跨棧進行。在硬件層，NVIDIA 的機器人主要芯片是 Jetson Thor（用于先進人形機器人）和 Jetson Orin（工業和邊緣機器人的廣泛標準），我們期待它們繼續突破邊界。擁有模型開發的全棧整合商最終可能會專門構建其專有芯片以最大化模型效率。在軟件層，像 Decart 這樣的公司正在通過 CUDA 層面的內核優化突破延遲邊界，主要應用在視頻生成和游戲中，實時生成在那里至關重要。此外，還有許多其他技術正在被探索，如模型蒸餾、漂移模型和后訓練量化以提高效率。NVIDIA 的 DreamZero 目前使用 2 塊 GB200 以 7Hz 運行，這對實際部署不實用，但我們期待這可以進一步加速和優化。NVIDIA 新的開源 2.6B 世界模型 SANA-WM 能夠在單張 H100 上生成 60 秒片段，以可比擬的視覺質量實現了 36 倍的吞吐量提升。然而，需要注意的是，云端加速可能無法遷移到每種形態的異構機載計算上。而且原始吞吐量只是一個代理：最終重要的 ROI 是任務完成率。在模型層，正在探索的技術包括潛在空間解碼等。

本文原文：Would "The Great Parallel" for Embodied AI Come True? | Charlotte Xia & Matt Wong | looking glass (Substack) | 2026.06.16

點個“愛心”，再走 吧