全球首個(gè)「具身原生」預(yù)訓(xùn)練模型發(fā)布，從物理世界出發(fā)為機(jī)器人造大腦！

金磊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

終于，那句用來(lái)教育年輕人的經(jīng)典嗑，也是用到機(jī)器人身上了：

你們啊，

眼光得放長(zhǎng)遠(yuǎn)點(diǎn)~~[看]

△圖片由AI生成

為啥？

因?yàn)橐粋€(gè)靠譜的機(jī)器人啊，它不能只是看到什么就做什么，現(xiàn)在還得學(xué)會(huì)預(yù)判未來(lái)——

眼睛是看到了當(dāng)下的這一幀，但腦子應(yīng)該在盤(pán)算幾步之后的畫(huà)面了。

這個(gè)事兒在具身智能圈有個(gè)專門(mén)的名字，叫做VA（Video-Action）模型。

咱們先來(lái)感受一下這個(gè)feel：

視頻地址：
https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA

從視頻中我們不難看出，桌上的冰球不僅速度快，軌跡還在不斷變化，如果機(jī)器人只靠”看到哪打到哪”的反應(yīng)式操作，大概率要被KO掉的。

正確的解法，應(yīng)該是模型一邊盯著球的運(yùn)動(dòng)軌跡，一邊提前預(yù)判幾步之后球會(huì)跑到哪，然后提前調(diào)整身位、伸拍。

這就是“預(yù)判式控制”和“反應(yīng)式控制”的本質(zhì)區(qū)別。

不過(guò)啊，就在今天，VA這件事兒本身也要變了。

因?yàn)閺默F(xiàn)在起，VA模型不僅要“眼光放長(zhǎng)遠(yuǎn)”，還得從娘胎里就是具身的！

這就是螞蟻靈波剛剛發(fā)布的LingBot-VA 2.0，全球第一個(gè)具身原生的預(yù)訓(xùn)練VA基座模型。

從架構(gòu)，到數(shù)據(jù)，再到訓(xùn)練目標(biāo)，第一天起就是為機(jī)器人量身定制的。

除此之外，其它亮點(diǎn)還包括：

• 雙臂任務(wù)成功率93.6%
• 單GPU推理150Hz
• 因果DiT+稀疏MoE主干

和前幾天螞蟻靈波三連彈開(kāi)源+發(fā)布一樣，LingBot-VA 2.0一經(jīng)發(fā)布，同樣引發(fā)了不小的熱議，網(wǎng)友們紛紛表示：

機(jī)器人技術(shù)正在邁入一個(gè)新時(shí)代。

天生“預(yù)言家”的機(jī)器人

看完上面這段冰球?qū)?zhàn)之后，有小伙伴可能會(huì)好奇了：LingBot-VA 2.0的這種預(yù)判能力，扛不扛得住更復(fù)雜的真實(shí)任務(wù)？

巧了。

研究團(tuán)隊(duì)在真實(shí)機(jī)器人身上還做了幾組不同維度的測(cè)試，可以看出VA模型會(huì)先在腦子里做預(yù)判，把動(dòng)作建立在對(duì)物理動(dòng)態(tài)的預(yù)測(cè)之上。

任務(wù)一：整理桌面

面對(duì)一張東西擺得亂七八糟的桌子，機(jī)器人要先看懂桌上有哪些物體，哪些應(yīng)該被移動(dòng)，移動(dòng)到哪里。

我們來(lái)看下LingBot-VA 2.0的表現(xiàn)：

視頻地址：
https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA

這項(xiàng)任務(wù)背后考驗(yàn)的，是模型對(duì)長(zhǎng)時(shí)間跨度任務(wù)的狀態(tài)維持能力；若是記性不好的話，機(jī)器人很可能收拾到一半就忘了自己剛剛收拾到了哪一步。

LingBot-VA 2.0的高維planner面對(duì)任務(wù)會(huì)首先做一個(gè)任務(wù)拆解，比如左臂負(fù)責(zé)收拾垃圾歸位，右臂把筆和鼠標(biāo)等文具復(fù)位，雙臂并行推進(jìn)還要避免空間沖突。

視頻預(yù)測(cè)分支天然攜帶時(shí)序狀態(tài)記憶，每一步操作后的桌面新?tīng)顟B(tài)都在模型預(yù)測(cè)范圍內(nèi)，不會(huì)出現(xiàn)“斷片”返工。

語(yǔ)義視覺(jué)-動(dòng)作分詞器讓視覺(jué)latent同時(shí)對(duì)齊語(yǔ)義信息，物體類別與目標(biāo)位置的理解在長(zhǎng)序列中保持穩(wěn)定。

從最終效果看，機(jī)器人順利完成了全桌面整理，說(shuō)明LingBot-VA 2.0完全可以應(yīng)對(duì)更接近真實(shí)生活的長(zhǎng)程操作。

任務(wù)二：傳送帶抓取

這次任務(wù)的場(chǎng)景更接近工廠、倉(cāng)儲(chǔ)里的真實(shí)作業(yè)。

物體在傳送帶上持續(xù)移動(dòng)，機(jī)器人要抓的不是一個(gè)靜止的目標(biāo)，而是一個(gè)正在移動(dòng)的目標(biāo)。

這就要求動(dòng)作的時(shí)間節(jié)奏必須和物體的運(yùn)動(dòng)節(jié)奏嚴(yán)絲合縫地對(duì)上，早一點(diǎn)或晚一點(diǎn)，抓取動(dòng)作都可能撲空。

視頻地址：
https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA

這個(gè)任務(wù)考驗(yàn)的是機(jī)器人對(duì)連續(xù)運(yùn)動(dòng)場(chǎng)景的時(shí)間對(duì)齊能力。

同樣的，LingBot-VA 2.0加持的機(jī)器人依舊成功完成了傳送帶抓取，動(dòng)作和移動(dòng)目標(biāo)實(shí)現(xiàn)了同步。

傳統(tǒng)工業(yè)方案依賴外部傳感器（光電開(kāi)關(guān)、編碼器）做觸發(fā)同步，純視覺(jué)方案則需要模型自己算準(zhǔn)時(shí)間。產(chǎn)線節(jié)拍固定，機(jī)器人不僅要抓得到，還要跟得上整體節(jié)拍，不能成為產(chǎn)能瓶頸。

LingBot-VA 2.0把物體正在移動(dòng)這件事直接納入動(dòng)作決策，不只是識(shí)別當(dāng)前位置，而是預(yù)測(cè)抓取動(dòng)作完成瞬間物體的所在位置，把動(dòng)作執(zhí)行的時(shí)間開(kāi)銷(xiāo)提前算進(jìn)去。

任務(wù)三：抓薯片

比起前兩組，這一組的挑戰(zhàn)換了個(gè)方向。

不比抓得準(zhǔn)不準(zhǔn)，看得是抓得夠不夠輕：

視頻地址：
https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA

我們都知道薯片是又薄又脆的，所以機(jī)器人既要精確把握夾爪和薯片之間的相對(duì)位置，做到細(xì)粒度的視覺(jué)伺服，又不能一使勁就把薯片捏碎。

這就對(duì)模型保留局部視覺(jué)細(xì)節(jié)的能力提出了很高要求。

從演示結(jié)果看，機(jī)器人完成了對(duì)薯片這類薄片物體的抓取，過(guò)程里既要保持視覺(jué)上的精細(xì)判斷，也要控制動(dòng)作幅度和力度。

雖然這三組任務(wù)分別對(duì)應(yīng)的是長(zhǎng)程記憶、時(shí)間對(duì)齊、精細(xì)操作三個(gè)不同維度。

但其實(shí)它們都在指向同一件事兒，即LingBot-VA 2.0是靠對(duì)物理世界演化的預(yù)測(cè)，提前把動(dòng)作規(guī)劃到位。

（LingBot-VA 2.0完整能力視頻如下）

視頻地址：
https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA

那么接下來(lái)的問(wèn)題是：

怎么做到的？

我們可以把LingBot-VA 2.0背后的技術(shù)，拆解成四部分來(lái)看。

首先，是新一代VAE。

過(guò)去做視頻生成的VAE，任務(wù)相對(duì)來(lái)說(shuō)是比較單純的，就是把視頻壓縮成一堆latent，再盡量原樣解壓回去，目標(biāo)是做到“像”，跟語(yǔ)義、動(dòng)作沒(méi)有太大的關(guān)系。

但LingBot-VA 2.0用的是一套語(yǔ)義視覺(jué)-動(dòng)作分詞器（semantic visual-action tokenizer），它不滿足于壓縮得像，還要求視覺(jué)latent同時(shí)對(duì)齊語(yǔ)義和動(dòng)作。

為此，團(tuán)隊(duì)讓視覺(jué)分詞器在做像素重建的同時(shí)，額外向一個(gè)凍結(jié)的視覺(jué)基礎(chǔ)模型對(duì)齊特征，把語(yǔ)義信息也塞進(jìn)latent里。

然后再單獨(dú)訓(xùn)練一個(gè)只看視頻、不需要?jiǎng)幼鳂?biāo)簽的隱動(dòng)作模塊；通過(guò)一對(duì)逆動(dòng)力學(xué)模型和正向動(dòng)力學(xué)模型，從連續(xù)兩幀latent里反推出中間發(fā)生了什么樣的動(dòng)作。

這樣一來(lái)，哪怕是一段完全沒(méi)標(biāo)注過(guò)的網(wǎng)絡(luò)視頻，也能被模型學(xué)出動(dòng)作相關(guān)的監(jiān)督信號(hào)。

其次，是因果預(yù)訓(xùn)練。

第一代LingBot-VA的做法，是把一個(gè)雙向注意力的視頻生成模型“手術(shù)式”地改造成單向因果模型，再用有限的機(jī)器人數(shù)據(jù)做微調(diào)。

不過(guò)這樣做的問(wèn)題在于，這種改造式路線天然存在風(fēng)險(xiǎn)，因?yàn)闄C(jī)器人數(shù)據(jù)本來(lái)就稀缺，改造過(guò)程很容易把預(yù)訓(xùn)練階段學(xué)到的廣泛先驗(yàn)知識(shí)給磨沒(méi)了。

所以LingBot-VA 2.0選擇了一條更徹底的路：從第一天起就用因果架構(gòu)從零訓(xùn)練整套模型，讓模型天然按照“只能看過(guò)去、不能看未來(lái)”的時(shí)間線學(xué)習(xí)，這就恰好匹配閉環(huán)控制里“當(dāng)下不能預(yù)知未來(lái)”的物理現(xiàn)實(shí)。

這個(gè)因果的next-latent預(yù)測(cè)目標(biāo)，既能吃下海量網(wǎng)絡(luò)視頻做自監(jiān)督，又天然匹配機(jī)器人閉環(huán)控制的時(shí)間結(jié)構(gòu)，不用再走“先學(xué)雙向、再改單向”的彎路，避免損傷模型原有的能力。

第三個(gè)改動(dòng)，是給模型裝上了稀疏MoE。

雖然模型容量越大，理論上越聰明，但如果每次推理都要把所有參數(shù)跑一遍，機(jī)器人的反應(yīng)速度肯定跟不上。

為此，LingBot-VA 2.0的解法，是給負(fù)責(zé)視頻預(yù)測(cè)的這條支路換上稀疏MoE架構(gòu)——總參數(shù)量做大，但每次推理只激活其中一小部分專家網(wǎng)絡(luò)。

具體來(lái)看，視頻主干總參數(shù)約13B，推理時(shí)激活參數(shù)只有約1.9B；算上負(fù)責(zé)動(dòng)作解碼的部分和輔助訓(xùn)練模塊，整個(gè)模型訓(xùn)練參數(shù)量約15.3B，但推理時(shí)每個(gè)token實(shí)際激活的參數(shù)只有約2.5B。

如此設(shè)計(jì)，便讓能力上限往上擴(kuò)的同時(shí)，實(shí)時(shí)推理壓力盡量壓住。

更直觀的結(jié)果，體現(xiàn)在推理速度上。

經(jīng)過(guò)一致性蒸餾、低精度編譯執(zhí)行、長(zhǎng)程注意力優(yōu)化和運(yùn)行時(shí)開(kāi)銷(xiāo)削減之后，LingBot-VA2.0的推理時(shí)間從baseline的965ms/chunk降到142ms/chunk，異步控制頻率也從33Hz提升到225Hz。

換句話說(shuō)，模型每142ms就能輸出一個(gè)包含32個(gè)action的動(dòng)作chunk，最高異步控制頻率可以做到225Hz。對(duì)于需要實(shí)時(shí)閉環(huán)控制的機(jī)器人來(lái)說(shuō)，這個(gè)速度提升非常關(guān)鍵。

LingBot-VA 2.0最后的改動(dòng)，便落在了推理階段的執(zhí)行方式上。

如果模型和機(jī)器人是串行工作的（也就是模型算完一步、機(jī)器人才動(dòng)一步，動(dòng)完之后再等模型算下一步），那模型的計(jì)算延遲，會(huì)直接變成機(jī)器人的動(dòng)作延遲，閉環(huán)控制的實(shí)時(shí)性根本無(wú)從談起。

LingBot-VA 2.0為此設(shè)計(jì)了一套叫Foresight Reasoning的異步推理機(jī)制：

機(jī)器人執(zhí)行當(dāng)前動(dòng)作片段的同時(shí)，模型已經(jīng)在并行腦補(bǔ)下一步——先想象當(dāng)前動(dòng)作執(zhí)行完之后畫(huà)面大概會(huì)變成什么樣，再基于這個(gè)想象結(jié)果，提前把下一步動(dòng)作準(zhǔn)備好。

但提前腦補(bǔ)這件事本身有風(fēng)險(xiǎn)，如果模型一直拿自己腦補(bǔ)的結(jié)果當(dāng)真實(shí)輸入，很容易脫離真實(shí)物理世界。

為了避免這種漂移，LingBot-VA 2.0會(huì)在每一次真實(shí)觀測(cè)返回時(shí)，用最新的真實(shí)畫(huà)面重新校準(zhǔn)，把腦補(bǔ)的預(yù)測(cè)拉回現(xiàn)實(shí)。

本質(zhì)上，我們可以把它理解為是一套“預(yù)測(cè)-執(zhí)行-糾偏”的閉環(huán)機(jī)制。

而經(jīng)過(guò)上述四步的改動(dòng)后，效果也是立竿見(jiàn)影的。

在RoboTwin 2.0這個(gè)仿真基準(zhǔn)上，LingBot-VA 2.0在Clean（干凈場(chǎng)景）、Randomized（域隨機(jī)化場(chǎng)景）、Avg（平均）三項(xiàng)成績(jī)分別達(dá)到93.8%、93.4%、93.6%，相比第一代LingBot-VA的92.9%、91.6%、92.2%都有提升，也全面超過(guò)π0.5、Motus等基線模型。

消融實(shí)驗(yàn)也印證了新分詞器確實(shí)有用：在50個(gè)任務(wù)的Easy/Hard平均結(jié)果上，用自研分詞器的模型成績(jī)?yōu)?6.6%和83.1%，明顯高于換成通用WAN2.2 VAE方案后的78.0%和76.0%。

MCP（多步預(yù)測(cè)）這個(gè)訓(xùn)練時(shí)的輔助目標(biāo)，同樣帶來(lái)了實(shí)打?qū)嵉男侍嵘涸?0fps的隨機(jī)化設(shè)置下，用了MCP的版本，訓(xùn)練5000步后成績(jī)就已經(jīng)比不用MCP的版本高出29.7個(gè)百分點(diǎn)；而且只用20000步，就能達(dá)到不用MCP時(shí)訓(xùn)練45000步才能達(dá)到的準(zhǔn)確率，相當(dāng)于2.3倍的訓(xùn)練加速。

從整體結(jié)果來(lái)看，LingBot-VA 2.0已經(jīng)把“更懂物理變化”、“更高頻閉環(huán)控制”、“更少樣本適配新任務(wù)”這幾件事，放進(jìn)了同一套系統(tǒng)里。

機(jī)器人大腦，全棧步入2.0時(shí)代

最后的最后，我們還需要聊聊一個(gè)話題：

LingBot-VA 2.0，到底意味著什么？

這次技術(shù)升級(jí)開(kāi)啟了“具身原生”的時(shí)代，讓具身基模正式從“基于數(shù)字世界模型的能力嫁接”轉(zhuǎn)向“面向物理世界需求的原生設(shè)計(jì)”。

機(jī)器人模型的訓(xùn)練目標(biāo)，正在從理解指令、輸出動(dòng)作，往學(xué)會(huì)預(yù)測(cè)動(dòng)作會(huì)如何改變世界遷移。

但我們?nèi)羰前袻ingBot-VA 2.0放到螞蟻靈波連續(xù)幾波開(kāi)源和發(fā)布的這條鏈路上來(lái)看，它的定位、螞蟻靈波要做的事，會(huì)變得更加清晰。

從LingBot-Depth 2.0，到LingBot-VLA 2.0，再到LingBot-Video，直至今天的LingBot-VA 2.0，螞蟻靈波正在逐步揭開(kāi)機(jī)器人大腦2.0的全貌：

LingBot-Depth 2.0解決的是空間感知問(wèn)題，LingBot-VLA 2.0解決的是當(dāng)下就能落地的動(dòng)作執(zhí)行問(wèn)題，LingBot-Video補(bǔ)上的是視頻生成模型推理效率的短板，而LingBot-VA 2.0，則進(jìn)一步把這些能力匯聚到預(yù)測(cè)式控制上。

把它們串起來(lái)看，這就是一條非常清晰的，從“看清楚世界”，到“理解物理世界”，再到“在真實(shí)世界里連續(xù)行動(dòng)”的完整鏈條。

對(duì)整個(gè)具身智能行業(yè)來(lái)說(shuō)，這也是一個(gè)很值得關(guān)注的變化。

當(dāng)機(jī)器人本體越來(lái)越成熟，行業(yè)接下來(lái)要拼的，可能不只是手有多巧、腿有多穩(wěn)、身體有多靈活。

更關(guān)鍵的會(huì)是，這顆大腦，是不是從出生那天起，就真正為物理世界而生。

網(wǎng)站：
https://technology.robbyant.com/lingbot-va-v2

技術(shù)報(bào)告：
https://github.com/Robbyant/lingbot-va/blob/main/LingBot_VA2_paper.pdf