用世界模型給VLA當教練，原力靈機發布DW0.5，把RL搬進虛擬世界

衡宇 發自 凹非寺
量子位 | 公眾號 QbitAI

代碼Agent這兩年為何進步飛快，成為AI界的宗門大師兄？

因為這玩意兒自己個兒就超！閉！環！的！

代碼Agent可以自動執行、自動驗證、自動反饋。寫了代碼跑一下就知道對不對，獎勵信號非常清晰明確。

這給后訓練（Post-training）階段的自反饋閉環提供了完美條件。

同樣是AI界大熱門，具身智能目前就缺少這種“神助”。

它面對的物理世界比代碼Agent面對的世界復雜多了，而且很難得到即刻驗證。

它接收的信號不像代碼那樣有一個編譯器就能判定，它們模糊、昂貴，而且每一次真機試錯都意味著真金白銀的人力和硬件損耗。

VLA（視覺-語言-動作模型）是具身智能中最早受到關注的技術路線。

但很快，大家發現這個技術存在物理理解缺失、泛化能力極弱、長時序與規劃能力不足等等問題，做不到“一家獨大”包打天下。

大家有點著急。后來，世界模型又成了行業里的新寵兒。

但世界模型似乎也不是靈丹妙藥（至少目前來看是這樣的）……

這也不行那也不行，具身智能，你到底要怎樣啊？？

這個時候，原力靈機相關負責人站出來表態：

我覺得特別愚蠢的一件事情是在「技術路線」上給自己貼標簽。這件事情是特別蠢的。
應該以目標導向。你要解決什么問題，挑選對應的方法去解決它，而不是說我是什么方法的、什么流派的，為此來證明只有我才是標新立異的。

他介紹，大約今年過年前，原力靈機意識到可將世界模型作為后訓練的一部分。

一晃眼半年過去了。這個月，原力靈機發布了旗下首款具身世界模型DW0.5，并將它接入世界模型驅動的具身智能后訓練框架DFOL2.0。

“這套基模支持多模態輸入，包括任務指令、圖片和視頻，還能選定機器人類型。我們可以憑借歷史動作，預測后續視頻狀態。”原力靈機聯合創始人汪天才說。

他介紹道，DW0.5用上萬小時真機、多視角數據完成聯合預訓練，仿真能力很強，能生成各類畫面。

不光能做出機械臂正常作業的視頻，就算參考錯誤動作，也能還原任務失敗的場景，以此支撐DFOL2.0框架的在線強化學習訓練。

DW0.5作為一個高保真仿真器，把強化學習搬進虛擬世界。

VLA先給出候選動作，DW0.5在虛擬環境中預演未來，判斷成功、失敗與偏離風險，再把可用反饋送回強化學習。

按其披露的數據，這套流程可讓后訓練中真機數據需求驟降60%，整體訓練成本下降40%。

具身智能行業急需低成本反饋閉環

想了解DW0.5，咱們先來看清它解決了什么樣的行業問題。

具身智能屬于物理AI，它的目標是讓機器人在不同環境、不同物體和不同失敗條件下持續變強。

可惜后訓練飛輪一直跑不起來。

真機一次rollout需要占用機器人、場地和人工，一次動作失敗可能直接讓任務中斷；人工反饋雖然更接近真實判斷，但難以高頻覆蓋每個中間狀態；仿真環境成本確實低很多，但現實中的接觸、遮擋、反光、形變和不確定性又很難被完整復刻。

基于這個現實，原力靈機從技術側提出了判斷：VLA需要一個介于真機、人工反饋和傳統仿真之間的訓練環境。最好它足夠便宜、能支持高頻探索，還更接近真實操作過程。

然后新的辦法就被腦暴出來了。

用真實Rollout數據校準世界模型，世界模型支持低成本大規模的環境與數據生產，新的policy再回到真實環境驗證和收集數據。

DW0.5就承擔了原力靈機VLA模型（DM0.5）后訓練中的Learned Environment的角色。

DW0.5三大專家模塊重構仿真邏輯，全方位提升泛化能力

DW0.5能預測動作執行后的未來狀態，甚至生成失敗軌跡，并對任務進度打分。

具體而言，DW0.5以Video Expert、Action Expert、Value Expert三大專家模塊組成能力鏈路。Video Expert與Action Expert共同服務動作后果預演，Value Expert負責價值評估與反饋構造。

這三個設計的思路各有講究。

設計一：Action是強先驗，而不是軟提示

在部分世界模型里，動作信息只是一個附帶的條件輸入。但DW0.5把動作當成結構性的強先驗。

它必須知道“機械臂在往這個方向移動”，才能預測出物理上合理的后續畫面。

DW0.5把action當作視頻生成的一等條件，通過結構化的幀級對齊強制綁定。

在MoT（Mixture of Tokens）注意力中，動作序列與視頻序列拼接，并用group-diagonal attention mask切斷視頻幀與非對應動作之間的信息通路。

從結構上，執行向左推和向右推的動作，從一開始就走向完全不同的計算路徑。

講道理，我們觀察到近期學術界對這個技術趨勢有范圍不小的探討，即主流VLA不做視頻預測，只做observation到action的映射。

DW0.5這類用視頻預測作為輔助監督的模型，理論上能學到更強的因果動態理解。

設計二：能模擬失敗，才配得上叫“仿真器”

只有成功軌跡數據訓練的模型容易形成過強的成功偏置，這樣的系統無法識別錯誤動作，更談不上為強化學習提供懲罰信號。

同時，失敗軌跡數據的價值對后訓練來說挺珍貴的。

因此DW0.5被明確要求能夠生成“做砸了”的視覺軌跡，讓Value Expert可以對比成功與失敗的差異，給出有區分度的打分。

其數據策略圍繞模擬失敗設計，讓模型既學習“應該怎么做”，也學習“做錯了，世界會變成什么樣”。

團隊表示，DW0.5有四類數據源：

• 具身公開數據與自采機器人數據（包含遮擋、接觸、延遲等真機噪聲）
• 互聯網視頻數據（補充開放世界動態）
• Egocentric第一視角人類活動數據（遷移真實物理交互后果）
• 真機與仿真rollout數據（覆蓋偏離、卡住、恢復等中間狀態）

設計三：Value Expert把未來變成可訓練的反饋

這是DW0.5從“視頻世界模型”走向“訓練環境”的關鍵一步。

Video Expert模擬動作后果，Value Expert把后果轉成可優化信號，兩者結合，才構成完整的RL訓練閉環。

DW0.5引入Value Expert是為了把生成的未來轉化為更密集的價值信號。

具體講，Value Expert它對當前狀態、候選軌跡或整段rollout給出成功概率或任務價值評估，將稀疏的任務結果信號轉化為可以在每一步使用的中間反饋。

在閉環系統中，Value Expert可以用于：

• 候選動作篩選：對多個rollout打分，讓VLA選擇更可能成功的未來。
• RL后訓練的reward信號：在世界模型環境中對VLA做策略優化，無需頻繁占用真機。
• 部署時的在線監測：發現當前狀態偏離成功路徑，及時觸發重新規劃或失敗恢復。

數據顯示，DW0.5的Value-Order Correlation達到95%以上。

三個設計服務同一個閉環，讓DW0.5在VLA的訓練和部署中扮演離線數據增強與偏好構造、RL后訓練環境、部署時規劃與安全評估三種角色。

依托DW0.5訓練-調優-部署的全閉環賦能能力，模型在工程化泛化表現方面同樣值得關注。

1）高階指令與多步動作跟隨

模型不僅能精準理解“Pick up the hammer, lift it into the air, and hold it steady（拿起鐵錘、舉至空中并保持穩定）”等高難度多步長指令，還能絲滑實現跨構型的動作跟隨。

2）多維連續泛化

在面對復雜長尾場景時，展現出了強大的跨環境、跨任務、跨構型的泛化生成實力。

3）多視角強一致性

在模擬生成機器人前視、左腕、右腕等多相機流時，展現出完美的空間與時序一致性。

4）動作-視頻生成高度一致性

能夠直覺化地理解人類的雙手操作視頻，并將其絲滑且等效地生成為機械臂的操作軌跡。

讓世界模型在具身智能產業大規模落地

說了這么多架構和原理，最終還是要回到一個問題：

DW0.5到底怎么用？

整體來看，DM0.5作為基礎策略模型，DW0.5負責動作后果預演與價值反饋，RL將兩者鏈接。

基座模型DM0.5先生成一批初始動作，推給世界模型DW0.5

—→DW0.5當仿真器，在虛擬環境里把這些動作會導向的未來“跑”出來，批量生成成功和失敗的軌跡

—→再由一個強化學習教練員CFG-RL，給每條軌跡的任務進度打分（成功的價值一路走高，失敗的價值斷崖下跌）

—→打分和獎勵實時回傳，更新模型權重，喂出一個更強的DM0.5

這個循環里大部分數據由DW0.5在線生成，不用全部靠真機翻來覆去高成本地去試。

噫吁嚱！

具身智能的世界里，世界模型終于有了一個明確的、能規模化應用在機器人部署過程里的崗位！

紙上談兵終覺淺。可以看到，在打氣球、晾衣服、疊紙盒等高難度復雜任務中，接入DFOL 2.0的模型相比單純SFT（監督微調）基線，關鍵步驟成功率驟然提升。

• 打氣球任務：“給氣球打氣”這一步成功率從10%升至90%；“氣筒插入氣球”成功率從10%躍升至100%。
• 晾衣服任務：“成功掛上衣架”這一長時序操作的SFT成功率僅50%，DFOL2.0加持下翻倍至100%；“衣架塞入衣服”的成功率也從60%提升到了90%。
• 疊紙盒任務：“疊右側紙盒”和“疊左側紙盒”兩大難點步驟，成功率分別從35%拉升到了55%和50%。

評測集這邊，DW0.5還在EWMBench、WorldArena等基準測試中橫掃榜單，分別以4.73、73.54的分數，斬獲全球SOTA（數據截至7月9日）。

真實部署進展方面，原力靈機表示DW0.5已在內部跑通具身后訓練閉環流程DFOL 2.0，開始承擔數據生成、價值評估和策略迭代工作。

同時，這套技術能力已接入原力靈機推出的DexDev MaaS（Model As a Service）平臺。

對于特定具身場景中零樣本泛化能力不足的模型，可通過后訓練補足能力，并接回平臺服務。

值得強調的是，原力靈機再三對量子位強調并肯定了真實數據無可替代的價值。

“我們只是用世界模型降低成本，真機數據還是很重要的。在技術演進上，世界模型目前仍需真機校準。”原力靈機聯合創始人汪天才說。

我們問原力靈機，關于世界模型在具身智能領域的運用，還有哪些其他想法？

得到的答案是這樣的——

隨著視覺模型能力的不斷提升，現場人員可以借助Ego相機采集操作數據，減少對專業真機采集和復雜后訓練團隊的依賴，降低現場后訓練的門檻。

那么，就讓時間來檢驗這個答案吧～

GitHub
https://github.com/dexmal/opendw
Hugging Face
https://huggingface.co/Dexmal/DW05-Base