把 GPT-4o 拉下神壇！星源智聯(lián)合北大推出 RoboAgent，讓 3B VLM 在未知場景跑出 94% 成功率

作者 | 華衛(wèi)

“把圓餐桌上的臟杯子放進洗碗機。”這句指令對 3 歲小孩都簡單，但對 AI 機器人，是一場嚴峻的挑戰(zhàn)。

它要先搞懂哪個是“圓餐桌”（木質的還是玻璃的？），然后判斷杯子可能在桌上、柜子里還是水槽邊。走到一半發(fā)現(xiàn)視野里根本沒有杯子，它懵了：我該往哪兒找？剛才的計劃還作數(shù)嗎？更麻煩的是，就算找到了杯子，洗碗機的門可能是關著的——它得先開門，再放進去，再關門……

這不是段子，而是具身任務規(guī)劃（Embodied Task Planning, ETP） 的真實困境。現(xiàn)在的視覺 - 語言模型（VLM）通過大規(guī)模預訓練展示了卓越的多模態(tài)理解能力，但一旦被扔進真實的家庭環(huán)境，需要多輪交互、長程推理、擴展上下文分析，它們就像理論優(yōu)異的學生第一次下廚房：理論全能，實操抓瞎。

如何解決這一難題？北京大學副教授穆亞東及北京大學與星源智團隊共同提出了 RoboAgent 方案。該方案采用能力驅動的具身路徑規(guī)劃，將復雜的規(guī)劃任務分解為一系列更簡單的視覺語言問題；同時，設計了一個多階段訓練路徑，利用中繼監(jiān)督（intermediate supervision）與多樣化數(shù)據來源，系統(tǒng)性地優(yōu)化 VLM 的規(guī)劃能力。

值得一提的是，該核心方案相關論文《RoboAgent: Chaining Basic Capabilities for Embodied Task Planning 》成功入選全球計算機視覺頂會 CVPR 2026。本屆 CVPR 投稿量高達 16092 篇，錄用率僅為 25.42%，該論文入選亦彰顯了團隊在具身智能領域前沿創(chuàng)新的硬核實力。

為什么 VLM 自己搞不定？

傳統(tǒng)做法要么讓 VLM 直接輸出動作序列，要么加一段“思維鏈”（CoT）推理。但在 ALFWorld 這類需要探索 + 操作的仿真環(huán)境里，問題層層疊加：模型要先理解模糊指令（比如“那個圓圓的、放在廚房島上的東西”），推測目標可能藏在哪里，導航過去，識別物體，最后執(zhí)行抓取、放置等動作。任何一個子任務出錯，整個任務就崩了。

更棘手的是，獎勵信號極其稀疏——可能走了 20 步才判斷成敗。用純強化學習（RL）訓練，模型往往在無效探索中耗光步數(shù)。而單純模仿專家軌跡，又無法泛化到沒見過的新場景。

RoboAgent 的核心洞察是：把“規(guī)劃”拆成一系列更小的、VLM 本來就擅長的視覺 - 語言子問題。 具體來說，RoboAgent 定義了 5 個能力模塊：

• EG（探索引導）：給定目標物體，根據常識推斷最可能的位置，預測最有可能的探索方向以找到該物體。OG（物體定位）：做開放詞匯檢測（即模型能夠根據自然語言描述，在圖像或場景中定位出訓練階段從未見過的物體或概念），判斷當前視野里有沒有目標物體。SD（場景描述）：用文字描述目標物體的當前狀態(tài)。AD（動作解碼）：把導航或操作指令轉成具體原子動作（atomic actions）。ES（經驗總結）：總結由 AD 生成的動作序列的交互結果，并在發(fā)生錯誤時分析失敗原因。

圖注：Scheduler 調度五類基礎能力，形成可監(jiān)督的能力鏈

所有模塊由同一個 VLM 實現(xiàn)，不依賴任何外部工具，端到端可訓練。

三階段訓練：從模仿到自我糾錯，再到專家引導

光有架構不夠，怎么訓練這個 VLM 讓它學會“調用能力”？團隊設計了一套三階段路徑規(guī)劃（planning pipeline），充分利用模擬器的內部特權信息（物體位置、實例分割、動作成敗反饋）——這些信息在實際推理時不可用，但訓練時能提供高質量監(jiān)督。

階段一：使用專家軌跡進行訓練

把 ALFRED 數(shù)據集里的專家軌跡拆成探索子目標和操作子目標，轉換成能力調用序列，并自動生成思維鏈。用這些數(shù)據做有監(jiān)督微調，共生成 640k 個訓練樣本。

階段二：使用模型生成的數(shù)據進行訓練

讓階段一的模型在實際訓練任務上跑一遍，收集它生成的軌跡（無論成功或失敗）。然后利用模擬器內部信息，為每個能力調用構建糾正性監(jiān)督：比如模型說“去柜子找叉子”，但模擬器顯示叉子其實在抽屜里，就糾正它的輸出。這一步生成 690k 個樣本，讓模型學會從錯誤中修正。

階段三：使用專家策略進行訓練

調度員的輸出是“調用哪些能力”，很難直接給獎勵。團隊提出 EIPO（Expert-Induced Policy Optimization） 算法：用專家調度員（知道所有子目標的完成順序）來計算每個狀態(tài) - 動作對下的專家優(yōu)勢函數(shù)，然后像 PPO/GRPO 那樣做策略優(yōu)化。因為專家優(yōu)勢可以直接從任務結構算出，避免了傳統(tǒng) RL 的方差問題，訓練更穩(wěn)更快。這一步額外合成了 25k 條帶錯誤恢復的軌跡。

實驗結果：3B 模型性能超過 7B 和 GPT-4o

團隊在多個基準上做了嚴格測試。訓練只用 ALFRED 的訓練集（6.4k 任務），但評估在 ALFWorld（視覺 + 文本）、EB-ALFRED，甚至跨模擬器的 EB-Habitat 和 LoTa-WAH 上——全是未見過的新場景、新指令。所有結果來自同一個微調后的 Qwen2.5-VL-3B 模型。

圖注：RoboAgent 在主要 benchmark 上的代表性結果

表 1（EB-ALFRED）：RoboAgent 平均成功率 67.0%，超過所有微調類方法（如 REBP 的 35.6%、WAP 的 62.7%），甚至在 Visual 分項達到 78%，超過了 GPT-4o 的 46%。

表 2（ALFWorld 視覺）：RoboAgent 平均 77.6%，大幅領先此前最好的 SEEA-R1（36.0%）和 GPT-4o（24.0%）。尤其在 Pick、Clean 等類別上優(yōu)勢明顯。這得益于 EG/OG 帶來的顯式探索，讓模型學會優(yōu)先檢查最可能有物體的容器（如“杯子”大概率在“櫥柜”而非“馬桶”上），而非盲目亂走。

表 3（ALFWorld 文本）：RoboAgent 在未見過的場景成功率達 94.0%，超過當前最頂級的 LLM 方案（DynaMind 89.1%），且用的是更小的 3B VLM——說明能力驅動的范式具備模態(tài)無關的泛化力，圖像能力可以無縫遷移到文本輸入。

結 語

現(xiàn)代 VLM 本身具備處理具身推理的所有能力，缺的只是合適的調用機制。RoboAgent 提供了這樣一套機制：不依賴外部工具，單一模型，端到端訓練。它通過 VLM 同時擔任調度器和五種特定能力，將復雜的規(guī)劃過程分解為一系列基礎的視覺語言理解問題 。

未來，隨著能力模塊的動態(tài)擴展和訓練數(shù)據的規(guī)模化，這類“能力驅動”的架構很可能成為長程機器人規(guī)劃的標配。畢竟，再聰明的 AI，也得學會分工協(xié)作。

會議推薦

企業(yè)級 Agent 落地，繞不開 4 個真實的工程問題！如何在 Agent 安全性和可用性之間找到平衡點？Agent 需要什么樣的記憶系統(tǒng)才能真正理解上下文？如何通過算法壓榨實現(xiàn)智力增量與成本控制的極致平衡？多 Agent 協(xié)作，如何做到可觀測、可治理、可控制？6.26-27 AICon 上海站，國內頭部公司的 Agent 實踐，一次說透。

今日薦文

你也「在看」嗎？