英偉達 Cosmos 3 深度拆解：它想做具身智能時代的「安卓系統」| RSS 2026

當 AGI 的大腦決定向邊緣遷徙，英偉達拿出了統治機器人進化的“終極劇本”。

編輯丨岑峰

2026 年，大模型行業正經歷一場前所未有的“體感位移”。那個在純數字世界幾乎無往不利的 Scaling Law，在試圖跨越到物理世界時，正遭遇物理規律、空間約束和長尾數據的殘酷審判。

AI 行業最核心的矛盾正日趨明顯：云端算力的指數級爆發，與機器人終端落地的步履蹣跚，構成了一種日益撕裂的鴻溝。

這種割裂感，在 7 月悉尼 RSS 2026的最后一天，被推向了最高潮。在“Robot World Models（機器人世界模型）”Workshop 上，傳統機器人學界對物理因果的“敬畏”，正與 AI 工業界對規模效應的“迷信”正面交鋒。

就在這場范式撞擊的火山口上，英偉達物理AI專家Max Li，為我們拆解了其新發布的重量級產品——Cosmos 3。

這不再僅僅是一個更逼真的視頻生成器：它是全球首個在同一個 Transformer 架構下，徹底打通了文本、視覺、音頻和動作全模態的世界基礎模型。如果說過去兩年的具身智能還處于“組裝機”時代：開發者需要吃力地將視覺模型、語言模型和控制算法像樂高一樣拼湊在一起，那么 Cosmos 3 的出現，則宣告了“整機一體化”時代的到來。

在現場演講中，Max Li 還釋放了一個明確信號：具身智能的下半場將不再屬于數據中心，而是屬于邊緣側。通過讓 AGI 的大腦遷徙到 Jetson 等邊緣設備上實時運行，英偉達正在終結機器人背著服務器跑的包袱。

這背后是英偉達作為算力霸主的終極野心：它不僅要做硬件的壟斷者，還要做具身智能時代的“安卓系統”。它正試圖通過定義一套標準化的“大腦與肢體”協議，讓全球碎片化的機器人形態，都能在 Cosmos 的邏輯底座上實現統一進化。

以下是英偉達物理 AI 專家 Max Li 的演講實錄，AI科技評論基于原英文演講內容進行了不改原意的翻譯編輯：

▎演講實錄：Cosmos 3: An OmniModel of Text, Video, and Action for Physical AI

主講人：Max Li | Nvidia

Max Li：感謝主持人的精彩介紹。很榮幸今天能在這里向大家展示我們最近的研究成果：Cosmos 3。這是一個面向物理AI的多模態世界基礎模型。

在物理AI領域，目前最大的挑戰之一就是數據。與計算機視覺智能體或大語言模型（LLM）相比，獲取物理世界的數據會受到時間和空間線性特征的極大限制：我們無法像擴展算力那樣輕松地去擴展物理數據。

這也是為什么我們認為，僅僅靠遠程操作或合成數據是無法完全解決這個問題的，我們需要更核心的技術。因此，我們引入了世界基礎模型（World Foundation Model）的概念，希望它能成為許多物理 AI 應用的真正基石。

▎世界基礎模型的核心能力

同時，我們花了很多時間去思考：一個合格的世界基礎模型究竟應該由什么組成？特別是從智能體的角度來看，一個模型應該如何與世界互動才能稱得上是“基礎”？我們認為有幾個關鍵能力至關重要：

• 理解世界（Understanding the World）：就像上一位講者 Laura 提到的，如果你想從微波爐里拿食物，模型必須先理解當前環境的狀態，否則根本無法下手。

• 模擬未來（Simulating Outcomes）：智能體必須能夠模擬執行特定動作后的結果。在真實世界中，試錯成本極高，打破一個玻璃杯是不可逆的。但在計算機仿真環境中，你可以反復打破東西，成本為零。因此，模擬未來走向的能力非常關鍵

• 執行動作（Taking Actions）：這也是很多機器人領域研究者最熟悉的環節，即把你的意圖在真實世界中具現化。

正是基于這些思考，我們推出了 Cosmos 3。

Laura 剛才提到的思路很好，我們也深有同感。基本上，我們將所有模態都整合進了單個模型中：從文本、圖像、視頻、音頻，一直到動作，并且能夠生成所有這些模態。接下來我們可以深入看看 Cosmos 具體能做些什么。

首先是理解真實世界。例如，給定一段機器人執行任務的觀測視頻，我們的模型本質上可以像 VLM（視覺語言模型）一樣運行，去推理從什么時間到什么時間發生了什么，或者對觀測結果進行預測。我們認為理解世界是構建任何模型的基石，沒有理解，就無法采取行動。

此外，我們認為生成能力同樣關鍵。我們選擇將音頻、視頻和動作放在一起進行聯合建模。在這個示例中，音視頻的生成其實是驗證模型的一種方式，讓我們能夠確信模型在特定的控制和條件輸入下，對未來的結果有著正確的理解。其中，引入音頻條件尤其有趣，因為在物理交互中，很多線索（比如碰撞、摩擦）是通過音頻觀測來提示的。這也是我們將音頻納入基礎模型訓練的原因。

在世界模擬方面，這里有一個 Cosmos 模擬人類與世界復雜交互的例子。左下角顯示了頭顯相機的運動軌跡，右下角顯示了手部姿態。模型模擬了人把某個東西加熱然后放到桌上的全過程。

我們堅信，第一人稱視角（Ego-centric）數據是基礎模型獲取物理交互深度知識的最有效途徑。我們正與許多團隊和開源社區合作，將這類知識注入模型中。

此外，我們還實現了反向動力學（Inverse Dynamics）。這不僅是指給定動作來預測未來的視覺觀測，還能通過多視角觀測，反推驅動這些視覺變化的底層動作是什么。如果你有海量沒有配對動作標簽的視頻數據，這可以作為一個極佳的數據挖掘工具。在這個例子中，我展示了如何用預測出的動作去驅動這個機器人（Robot）的 URDF 模型，從而讓機器人向前移動。

當我們對所有可能的物理結果（如動力學、視頻演變、文本理解等）進行了足夠充分的建模后，這個模型就可以直接轉化為一個策略模型（Policy Model），在現實世界中執行動作。

雖然目前展示的 Demo 可能不是最驚艷的，但其核心邏輯在于：只要模型對狀態及其轉移機制的建模足夠深刻，它自然就具備了策略能力，能夠接收特定指令并在現實世界中執行。

▎模型矩陣、邊緣端優化與在線評測

在 Cosmos 發布時，我們推出了現成可用的不同版本：比如面向服務器端的超大模型（Super 系列），但它們對許多機器人實時任務并不友好。因此，我們花了很多精力開發了 Cosmos Edge端側模型。我們發現它可以在 Jetson 等端側設備上實現實時推理，而不需要服務器級的 GPU。這對于該領域的廣大開發者來說應該會非常實用。

另外，自發布以來的一個新進展是，我們與 Pi 團隊合作展示了策略評估（Policy Evaluation）的可能性。我們并不是說現在就可以完全取代真實世界的評估，但我們確實可以把一部分評估工作離線化，并在這方面取得了很好的進展。策略可以與 Cosmos 進行交互，利用 Cosmos 的逆動力學能力來做一些非常有趣的事情。屏幕上方展示的是真實世界中的策略表現；而在在線策略評估期間，它決定不把球放進垃圾桶，導致任務失敗——但這正是我們目前技術已經能夠模擬和評估出來的。

前面提到了很多內容，這段視頻對我說過的話做了一個總覽：包括 VLM 能力、粒子跟蹤（Particle Fit）、移動（Move it）、圖文視頻音頻的輸入輸出、全局策略、前向動力學模型、逆動力學模型等。我們只是在不同的輸入和輸出組合上進行配置，使得單個模型就能把它們全部打通。

接下來進到技術細節部分：我們是如何實現的？聊聊架構。

基本上我們把模型分為兩部分：

1.推理器（Reasoner）：負責理解世界，你可以把它看作一個 VLM。

2.生成器（Generator）：負責跨模態的生成（視頻、音頻和動作）。

這是一個 MoE（混合專家）架構。在注意力掩碼（Attention Mask）的設計上，我們在進行世界理解（推理）時采用因果自注意力（Causal），而在生成時則采用雙向注意力（Bi-directional）。

作為一個機器人技術會議，我必須提一下我們是如何在不同的具身（Embodiments）之間統一動作矢量的。我們支持各種形態：包括左上方顯示的汽車（AV）、相機運動（第一人稱運動）、單臂機器人、雙臂機器人以及人形機器人。我們使用了一些啟發式規則將不同的動作向量耦合在一起，使它們在語義空間中盡可能地共享。

我們通過三種模式進行訓練：

• 動力學模式（Dynamics Mode）：給定動作，預測未來的視頻。

• 逆動力學模式（Inverse Dynamics Mode）：給定視頻，預測導致其發生底層的動作。

• 策略模式（Policy Mode）：基本上是對視頻和動作進行聯合訓練的過程。

處理不同模態時，一個棘手的問題是如何處理模態之間的位置編碼（Position Embeddings）。這是我們提出的方案，以便將所有內容做統一：

• 語言（Language）：采用非常標準的模式。

• 視頻（Video）：我們在 P , H , W（我們選擇將其定義為 3D 空間）所有維度上遞增索引，在水平和權重軸上進行編程。

• 音頻與動作（Audio & Action）：因為它們沒有高和寬（H 和 W），我們僅使用時間軸。

通過這種方式，所有深度生成都能一直兼容到大語言模型的底層循環中，盡可能保留大模型的通用基礎知識。

但這里有個難點：語言的 Token 是沒有時間概念的，而你必須處理視頻、音頻和動作的時間同步。我們的做法是：選擇24 FPS作為基準線。當輸入不同幀率的視頻時，我們會基于 24 FPS 重新計算它們的索引，從而讓所有內容在真實時間軸上對齊，而不是產生偏差。

▎數據集規模與訓練階段

關于數據，我們在預訓練階段為推理器篩選了大約2200 萬個可訓練樣本，涵蓋 OCR、視覺定位等多個領域。在監督微調（SFT）階段，我們提取了其中專門針對物理 AI 的子集。

在生成器端，擁有大約220 萬個樣本，并經歷了三個訓練階段：

1.預訓練：主要是圖像生成、視頻生成以及圖生視頻（I-to-V）。這部分預訓練數據折合大約1000 萬小時的視頻（做個轉換方便大家對數據量有個直觀的概念）。

2.中期訓練（Me-training）：我們引入了額外的模態，特別是動作，以及在機器人領域非常流行的跨域傳輸數據。例如，我們會生成資產仿真視頻，雖然它在仿真里看起來很假，但我們可以對其進行渲染，使其達到照片級真實，同時不改變視頻的物理特性。我們也把這些數據包含在內。

3.后期訓練（Post-training）：論文發布時我們只訓練了 Nano 和 Super 版本。我們對其進行了文生圖、文生視頻、圖生視頻的后訓練，以及一些與在座各位更相關的部分——即專門用于策略輸出的策略模型，好讓大家了解 Cosmos 如何轉化為策略以及它如何工作。

我想再著重強調一下 Cosmos 的家族規格：

• Cosmos Edge：這是一個 4B（40億）參數的 MoE 模型，包含兩個專家塔（每個 2B）。

• Cosmos Nano：一個 16B 參數的 MoE 模型（推理器和生成器各 8B）。

• Cosmos Super：我們最大的版本，64B 參數的 MoE 模型（各 32B），用以服務不同的應用場景。

我們看到了非常清晰的擴展定律（Scaling Law）。這里先不談策略（因為策略需要滿足實時性），但在圖像和視頻生成上，更大的模型有著極其明顯的優勢。

最后也非常重要的一點：Cosmos 是完全開源的。我們盡量做到盡可能的開放。我鼓勵大家去看看我們的項目，而且我會堅持手動去回復 GitHub 上的所有 Issue。沒有用任何 AI Agent，真的是我本人手動回復。我每天都在抽時間研究模型和不同代碼里到底存在什么問題。所以如果大家有任何疑問或遇到 Bug，請告訴我們，在每天 24 小時的時間限制內，我會盡全力為大家提供支持。

我們發布了模型、代碼，還發布了一篇非常長的論文，但我們嘗試在里面塞入了盡可能多的細節。這也是一項驚人的通力合作，有超過 100 人共同參與，才最終誕生了 Cosmos。我們希望它能為社區未來想要開發的許多應用打下堅實的基石。

以上就是我的全部演講，非常樂意回答大家的問題，謝謝！

▎現場 Q&A

主持人：非常感謝 Max 的精彩演講。我想先問一個問題：你們把所有模態都塞進了一個超大模型里，那么是否有證據表明，這個大模型確實縮小了動作落地差距（Action Grounding Gap）？最終由該策略（特別是端側的 Edge 版本）生成的動作，是僅僅“看起來可行”，還是在物理上真正切實可行？

Max Li：這是一個非常好的問題。如果你讀過論文，里面會有更詳細的內容。例如，在 Cosmos 的預訓練階段，我們完全沒有包含任何 PID 控制信息之類的數據。它純粹是作為一個狀態轉移機器（State Transition Machine）來進行訓練的。

直到后期訓練（Post-training）階段，所有的控制信號才被引入。當我們在進行針對特定機器人的聯合后訓練時，我們把控制信息加了進去，這時它才真正變得實用。這里面其實包含了一些哲學思考：我們發現，預訓練應該盡可能地保持通用性和泛化性，而通過后訓練來讓它在特定任務上真正變得有用。

觀眾提問：請問如何衡量 Cosmos 在物理規律上的精確度？我指的是在視頻生成過程中，如何測量預測的物理走向與現實物理規律之間的差距？

Max Li：是的，我們使用了一些特定的基準測試（Benchmarks）來進行物理評估，比如 VBench 等，這些工具是專門為了評估生成視頻的物理合理性而設計的。

至于將“動作”納入建模是否提升了物理精確度——雖然在這一版迭代中，我們還沒有拿到極其強烈的全局統計數據，證明加入動作能提升所有領域的視頻物理預測（因為畢竟不是所有互聯網視頻都帶有機器人動作標簽），但我們確實觀察到，在機器人和具身智能相關的特定領域，引入動作顯著提升了模型對未來視覺走向的預測精度。在這些場景下，該模型被證明是非常有幫助的。

觀眾提問：非常感謝您的演講。我注意到 Cosmos 模型有不同尺寸的多個版本（如 Edge, Nano, Super），同時您也提到訓練這個模型使用了數百萬小時的視頻數據。那么，你們在訓練不同尺寸的模型時，使用的是不同數量的視頻數據，還是說所有模型使用的數據量是一致的？

Max Li：非常深刻的問題。通常在研究擴展定律（Scaling Law）時，你會希望確保 Token 的數量能與你的參數量保持合理的比例（Compute-optimal）。但對于端側模型（Edge Model），我們確實不得不做出一些權衡和妥協。

例如，在 Edge 模型中，我們徹底砍掉了音頻模態。因為我們發現對于大部分端側任務來說，音頻并非必需，而且砍掉它能騰出更多資源；但當我們把模型擴展到 16B（Nano）和 64B（Super）時，就不會遇到這種資源受限的問題。

這是一個非常好的痛點，也是一個非常開放性的課題：在做這種技術權衡時，完全取決于你手頭的數據。因此，我的經驗由于數據不同，可能無法直接復制到其他團隊的經驗中。但總體而言，是的，在不同的模型體量之間確實存在一些數據和模態上的權衡。我依然堅信模型越大效果越好，希望我們未來能真正訓練出一個終極的物理 AI 基礎模型。

一個人讀論文太孤單，一群人刷頂會才好玩。

RSS 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。

進群傳送門：掃碼進群或添加微信Luyoyo_2026，備注：論文群 + 關注的 AI 方向。

搞科研/搞技術，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。