編輯|冷貓
再過幾天,WAIC 2026 將在上海開幕。
作為今年規模最大的兩個板塊之一,具身智能展區預計將匯聚超過兩百家企業。而近兩年,具身智能構建「大腦」的技術路線之爭幾乎從未停歇。
就在今天,螞蟻靈波給出一個全新的答案:LingBot-VA 2.0,行業首個「具身原生」預訓練模型。
![]()
https://mp.weixin.qq.com/s/73-7shonpfBBWqsTposzsw
「具身原生」并非一個營銷概念。它指的是:模型從數據構成、訓練目標到架構設計,從第一步起就面向「機器人在真實物理世界中完成任務」而設計。相較于復用數字世界中為內容創作而生的視頻生成模型的能力 LingBot-VA 2.0 遵循的是另一種思路:讓模型從第一個參數開始,就為物理世界而生。
![]()
- 技術報告:Native Video-Action Pretraining for Generalizable Robot Control
- 報告地址:https://github.com/Robbyant/lingbot-va/blob/main/LingBot_VA2_paper.pdf
- 項目頁面:https://technology.robbyant.com/lingbot-va-v2
它基于自回歸視頻生成模型從零預訓練。它的核心,可以濃縮為一句話:讓模型在預測世界下一步的同時生成動作,也就是「邊推演、邊行動」。要把這件事做到可用、通用、好用,螞蟻靈波在訓練目標與推理機制上做了一整套設計。
![]()
LingBot-VA 2.0 總覽
行業首個「具身原生」預訓練模型
具身智能的預訓練目標,與普通視頻生成模型有著本質區別。
一個普通的視頻生成模型學到的是相關性。給它幾幀,它能推測出其他畫面「通常」會是什么樣。
具身智能需要是因果性。當前大多數數字世界模型和視頻生成模型采用雙向建模,在訓練時能夠同時利用過去和未來的信息;而機器人執行任務天然是單向的,只能基于當前觀測和歷史狀態決定下一步動作。
![]()
能完美實現因果性的預測,機器人才談得上自主決策,而非被動響應。因此,LingBot-VA 2.0 把因果建模擺在了預訓練目標的核心。
LingBot-VA 2.0 是行業首個具身原生預訓練模型,實現了預測范式和執行范式的對齊。
雖然預訓練難度更高,但模型從一開始就遵循機器人真實的執行邏輯進行學習,理解動作如何影響環境,并驅動世界狀態持續演化。
新一代 VAE:「語義」與「動作」的對齊
機器人執行任務,一端是「理解指令」,另一端是「生成動作」,二者之間的落差,是具身模型的通病。
問題往往出在視覺的 tokenizer 上。VAE(變分自編碼器)負責將連續的視覺信號壓縮為模型可處理的離散表示,它的壓縮質量,直接決定了模型在視覺層面能否同時抓住「語義」與「動作」。
LingBot-VA 2.0 引入新一代 VAE 架構,改進的正是這道銜接:在壓縮視覺信息時,就讓「語義」與「動作」彼此對齊。結果是模型對文本指令的響應顯著更準確,「理解一句指令」能夠更順暢地轉化為「完成一串動作」。
![]()
語義視覺 - 動作分詞器
LingBot-VA 2.0 為了解決模型對世界的理解和動作控件對齊的問題,采用了語義視覺 - 動作 tokenizer,它是一個 ViT 自編碼器。在標準的重建目標(像素、感知、對抗三項損失)之外,它多加了兩個目標:
- 語義對齊。團隊拿一個凍結的感知編碼器(Perception Encoder)當「老師」,在壓縮視覺信息的同時,讓隱變量向老師的特征靠攏。既吸收了片段級的語義,又保住了逐幀的細節供重建,語義因此遠比純重建的隱變量豐富。
- 隱動作抽取。凍結視覺 tokenizer 后,團隊訓練了一對逆動力學模型(IDM)和前向動力學模型(FDM)。IDM 從相鄰兩幀的隱變量里解出一個低維的「隱動作」;FDM 反過來驗證給定當前幀和「隱動作」,能否重建出下一幀。
關鍵在于,這一步全程不需要任何動作標注。哪怕是一段沒有標簽的網絡視頻,也因此攜帶了「動作相關」的監督信號。tokenizer 最終吐出的,是一對配好的視覺 - 動作隱變量,直接成為視頻 - 動作模型的訓練目標。世界狀態和動作被放進了同一個語義隱空間,「看懂一句指令」到「做出一串動作」的轉化,也就順暢了許多。
MCP:更遠的預測視野
預測世界的下一步,與生成動作,是同一件事的兩面。讓模型真正理解「我的動作會如何改變世界」,才是模型真正的目的所在。
從零訓練一個視頻 - 動作模型,還藏著一個隱蔽的陷阱。
模型用教師強制(teacher forcing)訓練,每個片段都基于真實歷史來預測。標準做法只監督「下一個塊(chunk)」。可在高幀率下,相鄰兩個片段的畫面往往長得很像。模型為了降低損失,往往趨向于直接把上一幀的外觀照抄過來。這種「近視」的監督,會讓模型停留在短期的視覺連貫上,學不到真正的物理動力學。
LingBot-VA 2.0 借鑒 團隊之前提出的 Next Forcing 的思路,引入多塊預測(Multi-Chunk Prediction,MCP)來改善這種問題。
![]()
多塊預測(Multi-Chunk Prediction,MCP)
訓練時,主干 DiT 之上掛三個輕量的輔助模塊,每個負責一個更遠的預測視野(默認預測未來 3 個片段)。
它們不是各管各的,而是串成一條因果鏈:第一個模塊消費主干若干層融合后的中間特征,越靠后的模塊越依賴前一個的輸出,讓近處的預測去指導遠處的預測。這樣一來,來自遠處片段的梯度會順著這條鏈回流到主干,強制性地把隱變量組織成「軌跡級的動力學」,而避免了短期的視覺連貫。
這一步帶來的收益相當可觀。在 RoboTwin 上,開啟 MCP 的版本收斂更快、最終成功率也更高。在 50fps 的高幀率設置下,訓練 5k 步時它就比基線高出 29.7 個百分點,而且只用 20k 步就追平了基線跑 45k 步的精度,相當于 2.3 倍的訓練加速。
![]()
多塊預測消融實驗。展示了在 RoboTwin 基準測試上,不同訓練步數對應的任務成功率變化情況。
更巧妙的是,MCP 只在訓練期起作用。部署時,這些輔助模塊可以直接扔掉,主策略靠訓練時積累的表示照樣受益,不增加任何推理開銷;也可以選擇保留,用來并行預測下一片段,進一步壓低閉環控制的延遲。
全新的高效推理策略
Foresight Reasoning:更好的異步推理策略
傳統的機器人控制遵循一個固定循環:觀察、推理、執行、再觀察。問題在于「推理」與「執行」是串行的,模型的思考和行動有著嚴格的先后順序。模型的延遲,會原封不動地變成控制的延遲。
LingBot-VA 2.0 把這條鏈路拆成兩條異步推進的「流」:
- 預測流,模型在這里預測未來的視覺隱變量以及從中解碼的動作;
- 執行流,機器人在真實世界里執行當前的動作片段。當機器人正在執行動作 a_t 時,預測流已經動身,在真實反饋回來之前就先把下一個動作 a_t+1 備好。等 a_t 執行完,a_t+1 已經就緒,模型的思考時間被藏進了機器人運動的時間里。
新手司機往往看到前方情況才踩下剎車;老司機則在掃描路面的同時,已經在預判幾秒后的變化,手上提前作出調整。Foresight Reasoning 賦予機器人的正是這種預判能力。
不過,一味往前跑是有風險的。如果預測流一直拿自己「想象」出來的畫面繼續往下推,模型會順著這條幻想的軌跡越跑越偏,直到脫離現實、無法挽回。
LingBot-VA 2.0 的解法是「預測 - 校正」:每當一幀真實觀測回來,就把它編碼成真實隱變量,覆蓋掉 KV-cache 里那個之前想象的 ?_t+1,連同真正執行過的動作一起,重新錨定上下文。下一次預測,就從這份校準過的緩存出發。快的預測流負責往前,每一次真實觀測負責校正,異步的同時始終保持閉環。
語言模型里的多流并行搬運的是輸入輸出,這里的兩條流搬運的卻是「預測的未來世界狀態」,所以必須靠真實觀測來校正,這一步在純語言的場景里是沒有對應物的。值得一提的是,前瞻推理是一套推理期的方案,和訓練期的 MCP 相互獨立,兩者可以分別開關。
![]()
前瞻推理(Foresight Reasoning)作為一種異步推理 - 執行流程。
它帶來的直接收益是控制頻率的提升,使機器人在物體移動、環境干擾的動態場景中,仍能維持較高的操作成功率與魯棒性。對實時性要求極高的任務,這一改動帶來的是質變。機器人不會再因為「正在思考」,而錯失稍縱即逝的操作時機。
稀疏 MoE 架構重塑具身模型
預訓練一個「懂世界」的底座,需要足夠大的模型容量。但為了保證模型的效率,LingBot-VA 2.0 選擇引入了稀疏 MoE 架構,昨天開源的視頻生成模型 LingBot-Video 也使用了相同的策略。
在 LingBot-VA 2.0 中,視頻和動作兩條流由各自的專家網絡處理,共享一套因果注意力。
由于視覺動力學承擔了絕大部分建模負擔,團隊把兩條流做了非對稱的放縮:視頻專家在每個因果 DiT 塊里,把原本稠密的前饋層換成稀疏路由的 MoE,動作專家則保持稠密。路由沿用了 DeepSeek 系列驗證過的稀疏擴展思路,放進因果視頻 - 動作 DiT 里。
稀疏訓練最怕專家負載失衡,少數專家被擠爆、多數專家閑置。 LingBot-VA 2.0 采用了「無輔助損失」的負載均衡:每步訓練后,根據各專家實際分到的 token 數量微調一個選擇偏置,把過載的壓下去、把冷門的頂上來,全程不往擴散目標里注入額外的均衡梯度,避免干擾主任務的優化。
![]()
MoE-13B-A1.9B 視頻流模型與 Dense-5B 基線模型的訓練損失對比
在相同訓練時間下下兩者損失曲線幾乎重合。也就是說,這套稀疏視頻流在擴大容量的同時,幾乎沒有引入額外的優化代價。
推理加速
有了強大的底座和前瞻推理的框架,最后一步是把它真正跑進真實機器人的時間預算里。
第一刀砍在采樣步數上。VA 2.0 靠迭代去噪來生成,原本每個片段視頻專家要迭代 5 步、動作專家要 10 步。團隊把它蒸餾成一個一致性模型,蒸餾之后視頻和動作專家都壓到 2 步,單是這一步就把每片段的推理時間從 927ms 降到 466ms。
接下來是三層推理優化,分別對應推理棧的不同瓶頸:
- 模型層:用 FP8 精度和 TensorRT 編譯執行替換原生的 DiT 前向,降到 369ms。
- 序列層:針對自回歸 rollout 越跑越長的注意力開銷,用分頁 / 變長 KV-cache 管理配合 FlashInfer 注意力算子,降到 272ms。
- 系統層:把重復的主機端準備、內存分配和同步開銷攤薄,最終壓到 142ms。
![]()
推理加速。圖中比較了不同加速技術下的推理時間以及異步控制頻率。
一路做下來,端到端推理時間從最初的 927 ms / 片段降到 142 ms / 片段,異步控制頻率從 35Hz 一路提升到 225 Hz,實現了 6.5 倍的端到端推理加速。對機器人而言,這是「能演示」和「能干活」之間的差距。
實驗結果
上述設計疊加在一起,最終落到了一組頗具說服力的結果上。
在雙臂操作基準 RoboTwin 2.0 上,LingBot-VA 2.0 在干凈和域隨機兩種設置下都取得了最好成績,平均成功率達到 93.6%。更值得關注的是它的穩健性:從干凈環境切到域隨機環境,成功率只掉了 0.4 個百分點,這意味著在視覺和物理條件變化時,模型依然能穩定地把事情做完。
![]()
RoboTwin 2.0 雙臂操作成功率(%)。
真機上的表現同樣如此。團隊在一套覆蓋日常操作的自建基準上,每個任務僅采集 20 條遙操作示范,訓練出一個通用策略,同一個模型部署到所有任務。
![]()
真實世界部署結果。 展示了在多項真實世界任務上的任務成功率和任務進展率并將 LingBot-VA 2.0 與具有代表性的基線方法進行了對比。
結果顯示,LingBot-VA 2.0 在成功率和任務進度上都取得了不錯的成績,而且優勢在那些需要長程視覺追蹤、閉環糾錯的任務上最為明顯。這正是視頻 - 動作預訓練和前瞻推理發揮作用的地方,它讓策略能從執行中途的失誤里恢復過來。
最后,讓我們從四個場景中,看看 LingBot-VA 2.0 是否真實機器人任務中也能展現出穩定的執行能力。
![]()
https://mp.weixin.qq.com/s/73-7shonpfBBWqsTposzsw
LingBot-VA 2.0 可以流暢地,實時地和人類玩家進行小球對戰,這充分展示了模型對未來世界動態進行建模,和強大的物體運動的預測能力。同樣的,模型與動態環境進行交互的穩定性和響應速度都令人驚嘆。
![]()
https://mp.weixin.qq.com/s/73-7shonpfBBWqsTposzsw
LingBot-VA 2.0 甚至可以控制機器人橫向捏起薯片而不會捏碎,精細的粒度控制,甚至僅憑視覺信息的輸入就能實現。
![]()
https://mp.weixin.qq.com/s/73-7shonpfBBWqsTposzsw
![]()
https://mp.weixin.qq.com/s/73-7shonpfBBWqsTposzsw
同時控制多個機械手的進行協作交互,完成流水線裝箱和日常收納任務也不在話下。 LingBot-VA 2.0 高頻次的預測推理、準確的運動預測和實時控制部署能力讓這一切成為可能。
另外一個小彩蛋是,LingBot-VA 2.0支持情境學習。僅憑一段人類演示視頻,無需任何的參數更新和重新訓練,機器人就能推斷出操作過程,并將其轉移到新的物體和未見過的任務組合上。
![]()
決定未來的能力上限
理解了 LingBot-VA 2.0 的技術選擇,再把視野放大到整個模型體系,以及它在行業中的坐標,才能看清它的分量。
過去兩年,具身智能的競爭主要發生在頸部以下。本體、關節、靈巧手、運動控制一路狂奔,機器人學會了翻跟頭、跑馬拉松、端茶倒水。硬件的門檻在快速降低,產業鏈在快速成熟。而真正讓智能走進物理世界,自主交互,自主完成任務,是另一個量級的問題。
后者的關鍵,落在頸部以上的「大腦」上:它能否跨本體、跨任務、跨場景地復用,能否在真實物理世界里穩定地把事情做完,能否把每一次落地的反饋沉淀為自身能力的增長。當行業的競爭重心從本體轉向大腦,真正的分水嶺,也從「誰的機器人更靈活」變成了「誰的模型更懂世界」。
螞蟻靈波給出的回答干脆而徹底:不在他人的地基上打補丁,而是重新奠基,把物理因果從預訓練的第一步就澆筑進去。這條路更艱難、周期更長,卻指向具身智能能力的上限。
「通用嫁接」承接的是今天。它站在多模態大模型的肩上,成熟、可用、真機驗證充分,是當前最能規模化落地的路線。「具身原生」決定的是明天。它不借用任何現成模型的底座,從第一步起就為物理世界重新訓練,天花板更高。
2026 年 1 月,LingBot-VA 第一代開源時,「視頻預測與動作生成的統一」還是一個相對前沿的方向。
我們知道,在具身智能的大模型領域有很多頂級參與者。英偉達 Cosmos 持續迭代世界模型用于機器人仿真,Google 的 Gemini Robotics 系列探索多模態大模型直接輸出動作,Physical Intelligence 則在不斷提升 VLA 的高度。
不同團隊從不同起點出發,卻在收斂到「世界動作模型」的判斷上逐漸趨同:機器人的「大腦」終究要在視頻級的物理理解和連續動作生成之間建立更緊密的聯系,單靠語言模型的語義或單靠視頻生成的預測,都不夠。
LingBot-VA 2.0,恰恰是在行業逐漸明晰的路徑中跨出更關鍵的一步,一點點探索這條路徑的無限可能。
![]()
螞蟻靈波首席科學家沈宇軍博士在智源大會上提到,基座系列模型底層框架有三層:
- 底層是空間感知:包含視覺感知和觸覺感知等。機器人活在物理世界中,需要傳感器獲取原始的物理信號,這是我們探索空間智能的第一步;
- 中層是動作執行:機器人在物理世界中最終是要 「干活」 的。因此,中間一層必須落實到具體的 「動作」 上,因為只有動作才能與物理環境產生真正的交互;
- 頂層是環境反饋:我們正在積極探索如何為機器人提供虛擬的 「訓練場」 和高效的 「仿真評測」 環境。
LingBot-VA 2.0 所開創的「具身原生」路徑,能夠從源頭回應這一挑戰。預訓練數據、訓練目標、模型架構從第一步就圍繞「物理世界中的因果交互」來設計,模型對物理規律的掌握將更深、泛化的天花板將更高。
無論最終形態如何,具身智能的「大腦」都需要滿足幾個硬性條件:能夠在真機上高頻閉環控制,能夠從少量數據快速適配新場景,能夠在物理條件變化時保持穩定,以及能夠把每一次部署沉淀為模型能力的增長。
這些條件,本質上都在推動模型從「通用遷移」走向「具身原生」。LingBot-VA 2.0 選擇走在了這條路徑的前面,而它所探索的方向,已經成為越來越多團隊的共識。
當然,「具身原生」仍需更多更長時間尺度的檢驗。LingBot-VA 2.0 是這條漫長道路的一個新起點。就像今天的語言模型花了數年才讓機器真正「讀懂」文字,智能走進物理世界的進程,才剛剛翻開第一頁。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.