具身智能“高考”難瘋了！人類100分，最強模型12.8

允中 發自 凹非寺
量子位 | 公眾號 QbitAI

通用機器人這座山，到底有多高？

過去一年，VLA、機器人基礎模型、世界模型輪番登場。

一個個demo看起來越來越絲滑：疊碗、插管、收納、倒水、整理桌面，機器人似乎終于開始聽懂人話、理解世界、動手干活。

但問題是：這些模型到底誰更強？強在哪里？能不能從仿真走到真實世界？離真正的通用操作機器人，還有多遠？

現在，一個新的“登山路線圖”來了。

曾推出RoboTwin系列基準的原班團隊，又帶來了RoboDojo：一個統一的仿真+真實世界機器人操作評測基準。

Website: https://robodojo-benchmark.com/
arXiv: https://arxiv.org/abs/2607.04434
Leaderboard: https://robodojo-benchmark.com/LeaderBoard
Benchmark code: https://github.com/RoboDojo-Benchmark/RoboDojo
XPolicyLab code: https://github.com/XPolicyLab/XPolicyLab
Community: https://robodojo-benchmark.com/community

它不只是又一個benchmark，而更像是給具身智能立了一座“珠峰”：

42個仿真任務，18個真實機器人任務，30個主流機器人策略同臺競技，覆蓋泛化、記憶、精細操作、長程執行、開放語義理解五大能力。

結果很直接，也很殘酷：

當前最強通用機器人策略，在仿真平均成功率也只有8.80%。到了真實世界，最好模型平均成功率也只有12.8%。

而人類專家呢？仿真里是76.03%，真實世界是100%

機器人基礎模型們看起來已經開始攀登具身珠峰，但RoboDojo的榜單顯示：它們大多還在山腳適應高反。

先看任務設計：這座山為什么難？

RoboDojo的難點，不在于簡單堆任務數量，而在于它把機器人操作能力拆成了一組更接近真實世界的“登山關卡”

在仿真環境中，RoboDojo設計了42個任務，圍繞五個核心能力展開：

• Generalization，看模型能不能適應新背景、新光照、新物體和復雜雜亂場景。
• Memory，看模型能不能記住之前看到的信息，并在后續動作中用上。
• Precision，看模型能不能完成插入、對齊、精確接觸等高精度操作。
• Long-Horizon，看模型能不能完成多步驟、強依賴、誤差會累積的任務。
• Open，看模型能不能理解沒見過的開放語義指令，并把語言目標變成動作。

這些任務不是簡單的pick-and-place變體。

比如在泛化任務中，桌面雜物最多可隨機到25個，背景、光照、物體外觀和布局都會變化；

記憶任務中，機器人需要記住傳送帶上曾經出現又消失的物體，再從后續候選物中選出匹配目標；

精細操作任務中，機器人要完成插管、對齊、插入等高容錯要求動作，稍微偏一點就會失敗。

長程任務則更接近真實家務：機器人不是做一個動作，而是要連續完成多個子步驟。拿起、移動、交接、對齊、放置，每一步都可能引入誤差，而誤差會一路累積到最后。

但RoboDojo沒有停在仿真里。

真正讓這座“具身珠峰”變高的，是它還把評測搬到了真實機器人上。

RoboDojo設計了18個真實世界任務，覆蓋ARX X5、Piper、Piper X三種雙臂機器人平臺，每個平臺各6個任務。

這些任務不是仿真任務的一一復刻，而是專門用來考察機器人在真實物理世界中的部署能力。

比如ARX X5上有蓋積木、做面包、制作食物、裝水果并倒出、保險箱收納、插管等任務；Piper上有堆疊并蓋住積木、填筆筒、把物體放進籃子、插充電器、疊碗、扶正瓶子等任務；Piper X上則包括物體分類、拆樂高、掛杯子、把物品裝進背包、清掃積木、蓋筆帽等任務。

這些任務聽起來都很日常，但對機器人來說并不簡單。

因為真實世界里每一步都帶著物理不確定性：物體可能滑動，夾爪可能沒夾穩，機械臂可能有微小延遲，相機可能有噪聲，接觸瞬間可能把目標推偏。

更重要的是，RoboDojo-RealEval對真機評測做了標準化：統一硬件配置、工作空間布局、光照條件、場景復位流程、評測協議和部署接口。

每次測試前，評測人員會根據預設布局復現場景；每個trial還會由三名評審雙盲打分，既看最終成功，也看中間步驟完成情況。

也就是說，RoboDojo的真機部分不是“拍幾個demo視頻”，而是把真實機器人操作變成了一套可復現、可比較、可遠程接入的標準化考試

換句話說，RoboDojo不是只在仿真里問機器人“你會不會做題”，還在真實世界里追問：換一臺機器人還穩不穩？真實接觸來了會不會抖？物體偏一點還能不能修正？任務做到一半出錯會不會恢復？離開仿真訓練場，還能不能繼續爬山？

這才是“具身珠峰”的真正含義：不是單點能力登頂，而是仿真診斷和真實部署兩條路線都不能掉鏈子

榜單一出，差距擺上桌面

RoboDojo最核心的部分，是它的公開排行榜。

這也是它和很多“自家模型自家測”的評測不同之處：

RoboDojo由全學術機構聯盟發起和維護，背后沒有商業模型方利益綁定，榜單治理則由公益性組織AI MMLab Club基金會負責。

換句話說，這座“具身珠峰”不是某家公司給自己修的觀景臺，而是面向整個社區開放的一條公共登山路線

在仿真榜單中，團隊集成并評測了30個代表性機器人操作策略，包括Hy-Embodied-0.5-VLA、Spatial Forcing、π0.5、X-VLA、GR00T-N1.7、π0、OpenVLA-OFT等。

榜單第一是Hy-Embodied-0.5-VLA，平均分13.07，平均成功率8.80%。

緊隨其后的是Spatial Forcing、π0.5、X-VLA等模型，但整體表現依然處在很低區間。

即便是領先模型，在五大能力維度上也沒有一個真正“全能”。

有的模型泛化更強，有的精細操作更穩，有的長程任務能多推進幾步，但一旦拉到完整榜單上看，短板就非常明顯。

RoboDojo的一個關鍵信息是：今天的機器人模型不是不會動，而是不夠穩；不是完全不會做任務，而是很難穩定做完任務

很多策略可以完成部分步驟，但最終成功率很低。

比如長程任務里，機器人可能已經拿起物體、移動到目標附近，卻在最后對齊、插入、放置或恢復階段失敗。

這也是具身智能和純語言、純視覺任務最大的不同：在物理世界里，差一點就是失敗。

真實世界榜單更扎心

如果說仿真還是“訓練場”，真實機器人就是“珠峰實地”。

真實世界榜單里，表現最好的模型是π0.5，總體成功率12.8%，平均分22.9。

頭部梯隊包括InternVLA-A1、GalaxeaVLA、Xiaomi-Robotics-0、X-VLA等，但整體成功率依然只有個位數到十幾個百分點。

這說明一個非常關鍵的問題：仿真里相對靠前，不代表真實世界里一定穩。

真實機器人會引入額外困難：相機噪聲、標定誤差、機械臂延遲、接觸不穩定、動作抖動、安全邊界、物體初始位置微小偏差。這些東西在demo視頻里常常看不見，但在標準化評測中會集中暴露。

RoboDojo的意義也在這里：它不是只問“機器人有沒有做成功”，而是在問：

這個策略能否在仿真中通過全面性考察，同時在現實世界中能夠直面挑戰？

為什么說這是“具身珠峰”

從結果看，RoboDojo暴露出一個很現實的判斷：當前機器人基礎模型的能力增長并不均衡。

有些模型可以更好地識別目標，有些模型可以更順暢地執行動作，有些模型在長程任務中能推進更多步驟。

但真正的通用機器人，不能只在某一個能力維度上強。

它既要看得懂，也要記得住；既要規劃對，也要手上準；既要能處理熟悉任務，也要能理解開放指令；既要在仿真里跑通，也要在真實機械臂上穩定執行。

而RoboDojo的實驗結果顯示，今天的模型在這些維度上仍然存在明顯短板。

最典型的是Open任務。即使最強模型，在開放語義任務上的成功率也只有約1.67%

這意味著，當前機器人基礎模型距離真正“聽懂人話并可靠干活”還有明顯距離。

它們可以在熟悉任務上模仿，但面對新目標、新語義、新組合時，語義理解、視覺定位、技能選擇和動作執行這條鏈路仍然很脆。

這正是具身珠峰的難點：不是單點能力登頂，而是所有能力都不能掉鏈子。

不只是評測，還是一套基礎設施

RoboDojo還有兩個重要組成部分。

一個是異構并行仿真

傳統仿真并行往往是在復制同一個場景，只改初始位置；RoboDojo支持不同任務、不同物體、不同布局同時跑，大幅提升評測效率。

另一個是XPolicyLab

它相當于RoboDojo背后的“統一接入層”，專門用來解決機器人策略評測中一個很現實的問題：不同模型往往有不同的數據格式、預處理流程、訓練腳本、動作表示和部署環境，想放到同一張榜單上公平比較，工程成本非常高。

XPolicyLab做的事情，就是把這些外部流程標準化。

它提供統一的數據轉換、訓練模板、部署流程和評測腳本，同時保留各個策略本身的模型結構和實現方式。

這樣，不同機器人策略只要接入統一的observation-action接口，就能在RoboDojo的仿真環境和RoboDojo-RealEval真機平臺上運行。

這次論文中，團隊已經通過XPolicyLab集成了30個代表性機器人操作模型。

對于研究者來說，這意味著模型可以“一次接入，多處評測”：先在仿真中快速迭代、診斷能力短板，再部署到真實機器人上接受標準化測試。

也因此，RoboDojo不只是論文里的靜態benchmark，而是一個可持續更新的具身智能競技場

模型可以不斷上榜，任務可以持續擴展，真實機器人評測也可以遠程接入。

對于機器人基礎模型領域來說，這很重要。

因為在通往通用操作機器人的路上，大家不僅需要更大的模型、更酷的demo，也需要一套能反復衡量進步的“海拔尺”。

具身智能，終于有了更高的山

過去，機器人領域常常被demo驅動。

一個模型能完成幾個漂亮任務，很容易讓人產生“通用機器人快來了”的錯覺。

但RoboDojo給出的結論更冷靜：當前模型確實在進步，但距離可靠、泛化、可部署的通用機器人操作，還差得很遠。

這并不是壞消息。

恰恰相反，RoboDojo把問題擺清楚了：誰能泛化，誰會遺忘，誰動作抖，誰只會做一半，誰在真實世界掉隊，誰能在榜單上往上爬。

具身智能終于不只是比拼宣傳片，而是開始比拼標準化賽道上的真實成績。

這座“具身珠峰”已經立起來了。接下來，就看誰先登頂了。

項目負責人介紹

陳天行，香港大學MMLab直博生，師從羅平教授。

在ICML、CVPR、ICLR、RSS等領域頂會發表論文十余篇，獲多項頂會研討會最佳論文獎、多項頂會學術競賽冠亞軍。

獲紅杉中國與《麻省理工科技評論》中國評選AI25（25歲以下AI創新青年先鋒）、深圳大學特獎（學生最高榮譽）、CCF優秀大學生（全國99人）。

RoboTwin 2.0第一作者、頭部具身開源社區Lumina創始人，開源項目累計獲得GitHub近兩萬星。

陳越，北京大學碩士研究生，主要研究方向為三維視覺表征與機器人仿真。

迄今已發表CCF A類、CAAI A類高水平論文10余篇，多篇成果以Oral、Spotlight形式收錄，相關工作獲CVPR、IROS等國際會議研討會最佳論文獎項。曾獲評國家獎學金、北京大學三好學生榮譽。

未來擴展

RoboDojo團隊后續還會持續輸出靈巧操作、移動操作、觸覺操作、人型全身操作等評測，歡迎大家持續關注。