剛剛，全球首個具身專屬的MoE視頻模型，開源了！

金磊 發自 凹非寺
量子位 | 公眾號 QbitAI

終于，專屬具身智能的視頻模型來了！

話不多說，直接來看生成的效果：

視頻地址：
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

這就是螞蟻靈波剛剛正式開源的LingBot-Video——

全球首個面向具身智能的大規模MoE視頻基礎模型、視頻物理引擎。

或許有小伙伴要問了，像剛才視頻里的機器人切西紅柿、吸床單和收納口紅，目前很多視頻生成的AI不也能搞出來嗎？

確實。

但既然說了LingBot-Video是具身版的專屬視頻模型，那說明它從架構、數據到訓練目標全鏈路都是為機器人、人形智能體量身打造的。

而且其它視頻生成AI的關注點，更多的是時長、美學、畫質、運鏡等等。

但到了LingBot-Video這里，重中之重，變成了是否符合物理規律。

除此之外 ，LingBot-Video的亮點還包括：

• 架構上采用MoE，讓模型容量和推理成本更好平衡；
• 30B參數，推理時僅激活3B；
• 數據上引入超70000小時具身相關視頻，讓模型學習機器人操作、導航、第一視角等場景；
• 訓練上加入多維獎勵系統，把物理合理性、任務完成度納入優化目標。
• 已在RBench上超越業內通用視頻生成標桿模型。

LingBot-Video一經開源，同樣也是引發了網友們不小的熱議，他們直呼：

它的功能遠不止于生成視頻，如此大規模的訓練，讓模型對現實世界中的互動有了更深刻的理解。

為什么機器人需要自己的視頻模型？

對于這個問題，答案其實蠻現實且剛需的。

通用視頻模型的訓練目標，主要圍繞視覺質量、語義對齊、運動連貫展開。人看視頻時，也更容易被畫質、光影、構圖、風格打動。

但機器人看世界的方式卻截然不同。

它不只是看見一個杯子，還要判斷自己伸手過去以后，杯子會怎么動；看見一條路，還要判斷從這里走過去，會不會撞到障礙……

所以，我們可以認為內容視頻和具身視頻其實是兩套評價體系。

△圖片由AI生成

通用模型里偶爾出現的穿模、物體憑空消失、動作違背慣性，對短視頻創作來說可能只是瑕疵。觀眾看一眼，最多吐槽一句“AI味有點重”。

但如果把這些錯誤視頻拿去訓練機器人，那問題可就大了。

因為這就相當于在教機器人一套錯誤的世界規律，它們會誤認為手可以穿過物體、杯子可以無緣無故復原、液體可以懸在空中……

所以LingBot-Video生成的視頻，就是要讓機器人的大腦學會真真實實的物理規律。

例如下面這三組生成的工業場景的視頻：

視頻地址：
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

視頻中，機械臂在產線上對零件進行抓取、放置、定位，有的還涉及焊接、加工這樣的動作。但重點在于末端執行器、工件、工作臺之間的相對關系能不能在連續幀里保持穩定。

這對應的正是機器人真正需要學習的能力，包括看懂物體，靠近物體，作用于物體，然后預測物體狀態的變化。

再如更復雜的動態場景：

視頻地址：
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

一個是第一視角滑雪鏡頭，從雪坡向前沖下，雪霧、坡面、身體姿態都在快速變化；另一個畫面里，人形機器人則在雪道上和滑雪者并行繞旗門前進。

這類場景考驗的，便是機器人對于空間的理解、運動的預測和動態環境的建模等能力。

還有機器人打排球、踢足球：

視頻地址：
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

排球場上，機器人起跳、揮臂、擊球，球沿著空中軌跡飛出；足球場上，機器人完成擺腿、觸球、射門，球和身體動作之間有明確對應關系。

這就有點接近我們人類期待的具身智能所擁有的靈活的運動能力。

（LingBot-Video完整能力視頻如下）

視頻地址：
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

在看完效果之后，那么接下來的問題就是：

LingBot-Video是怎么做到的？

30B的大腦，僅3B出手

要讓視頻模型更懂機器人，第一步是架構。

從此次團隊發布的技術報告來看，較為吸睛一點便是引入了MoE架構。

為啥要這么做？打個比方。

傳統Dense模型更像一個大辦公室，每來一個任務，所有人都要一起上場。好處是穩，壞處是貴。模型越大，每次調用成本越高。

而MoE則像一個大型專家庫，任務來了，不用所有專家都出手，只叫最相關的一組專家來處理。

LingBot-Video的體量共計30B參數，但正因引入了MoE，單次生成大約激活3B參數參與計算。

由此，不僅計算成本變得更低，擴展方式也從直接堆參數變成了按需激活。

畢竟機器人訓練、策略評估、動作規劃，天然需要大量模擬和試錯，若每次生成視頻都要激活全部參數，那成本自然貴得離譜，那這個視頻物理引擎也就很難真正被用起來。

更具體來說，視頻要模擬連續物理世界，需要處理復雜運動軌跡、三維空間一致性、材質紋理等復雜分布；稀疏MoE可以在固定計算預算下擴大參數容量，把總參數規模和每個Token實際激活的計算量解耦。

從實驗結果來看，MoE30B-A3B在1M Token長度下，對比Dense6B、Dense 14B、Dense 30B的速度比分別達到1.50×、2.59×和3.18×；同時，稀疏框架還能保持接近3B規模模型的推理效率。

除了架構之外，LingBot-Video另一大技術亮點，便在于它的數據。

大語言模型為什么能起來？一個很重要的原因是，互聯網天然積累了海量文本。

但機器人并沒有屬于自己的互聯網，網上不存在幾十億小時的機器人動作數據。

真實機器人數據要靠遙操作、真實設備、真實場地一點點采集，不僅成本高、速度還慢；當然，仿真數據也是一條路，不過仿真器里學會的東西，到了真實世界常常會遇到sim-to-real gap。

而LingBot-Video選擇的是第三條路，即把通用互聯網視頻和具身數據結合起來。

從發布的技術報告來看，模型引入了超過70000小時的embodiment-oriented footage，覆蓋機器人操作VLA、導航、第一視角視頻，還包括真實機器人、仿真、開源、第三人稱視角，以及人形機器人、四足機器人等平臺。

這些數據不是簡單拼接進去的，而是在訓練流程的專門階段里，針對稀缺但高價值的具身數據做了刻意的“少篩選、多保留”，防止被海量的普通互聯網視頻稀釋掉。

所有素材都會經過五維結構化標注，精準標記物體、材質、動作時間戳、受力交互關系；同時采用課程式五階段漸進訓練，從低清靜態圖像打底，逐步過渡到高清長時序視頻，循序漸進讓模型掌握復雜物理交互邏輯。

針對機械操作、精密抓取這類長尾場景，團隊還通過分布感知采樣做加權強化，補齊小眾工業、家用機器人場景生成能力。

最后，還要一個強化學習環節。

傳統視頻模型僅用畫面美觀度、文本匹配度做優化目標，不太不約束物理邏輯。而LingBot-Video搭建一套分層強化學習獎勵體系，從感知、物理、執行三個維度同步約束生成結果：

1. 感知維度：保障畫面清晰度、文字描述匹配度、動態流暢度；
2. 物理維度：模型核心優化指標，校驗物體不穿透、無憑空消失、運動符合重力慣性、材質受力形變合理；
3. 執行維度：校驗機器人肢體結構完整、動作流程可落地、任務目標完整完成。

訓練采用GRPO組相對策略優化方案，搭配負感知微調規避獎勵黑客問題。同時原生支持Action-to-Video動作條件生成，輸入機器人動作指令，就能直接輸出后續完整視覺變化，可直接對接機器人運動規劃模塊。

另外模型還配套級聯精煉方案，先生成480p基礎時序畫面保證運動邏輯，再精煉至1080p高清畫質，如此一來，便可平衡推理速度與畫面細節。

在評測過程中，LingBot-Video被拿來和NVIDIACosmos3、LongCat-Video、LTX-2.3等開源模型比較。

結果顯示，在TI2V任務上，LingBot-Video在開源競品中達到SOTA水平，并在general quality和embodied domain兩項得分中位居第一；在T2V任務上，雖然general quality排名第二，但embodied domain得分仍超過Cosmos等競爭基線。

除此之外，LingBot-Video已在RBench上超越業內通用視頻生成標桿模型。

視頻模型的終點，是機器人大腦的起點

在看完效果和評測結果之后，其實我們可以清晰看到一個新的信號：

LingBot-Video開源這件事，更像是在視頻生成賽道里，把另一條路線擺到了臺面上。

因為若是我們把視頻模型看作世界模型，它的價值就會變成給機器人提供一個低成本、可反復試錯的物理世界模擬器。

再細分其價值，我們大致可以劃分為三層。

第一層，是Data Engine。

機器人真實數據太貴，采集太慢。如果視頻物理引擎能生成足夠可信的動作過程和場景變化，就有機會為機器人訓練提供更多低成本數據。

第二層，是Policy Evaluator。

真實世界試錯很危險，尤其是工業機械臂、人形機器人、四足機器人這些系統。視頻模型可以在虛擬視覺環境里先跑一遍策略，提前觀察可能結果，降低真實測試風險。

第三層，是Action Planner。

機器人面對真實場景時，可以借助模型預測“執行這個動作后會發生什么”，再輔助決策規劃與異常預判。技術報告也明確把LingBot-Video定位為面向機器人社區的Data Engine、Policy Evaluator和Action Planner。

由此，LingBot-Video和其它普通視頻生成模型的區別便一目了然了。

這也是為什么視頻模型正在從內容創作賽道，外溢到世界模型和具身智能賽道。

李飛飛創辦的World Labs押注空間智能，試圖讓AI理解、生成并交互3D世界；LeCun團隊的V-JEPA 2則直接從視頻自監督學習切入，探索讓模型理解、預測并規劃物理世界……已然是具身智能下一階段的兵家必爭。

不過在具身智能專屬視頻生成模型這件事上，長時序一致性、柔性物體和液體等復雜物理交互、視頻預測能力向真實機器人閉環的轉化，以及具身視頻模型評測標準建設，都還在演進中。

但LingBot-Video至少證明了一件事，那就是視頻模型正在從內容生產工具，往物理世界模擬器推進。

也許再往后看，視頻生成的盡頭，還真不一定是電影。

它也可能是下一代機器人大腦的起點。

GitHub:
https://github.com/robbyant/lingbot-video

Tech Report:
https://arxiv.org/pdf/2607.07675

Project Page:
https://technology.robbyant.com/lingbot-video

HuggingFace：
https://huggingface.co/collections/robbyant/lingbot-video

Model Scope：
https://www.modelscope.cn/collections/Robbyant/LingBot-Video