![]()
Robo-ValueRL 賦能機器人甄辨數據,突破具身智能學習瓶頸。
編輯丨李希
7月9日,北京人形機器人創新中心(以下簡稱北京人形)的慧思開物平臺技能庫重磅更新了,北京人形本次是聯合中國人民大學高瓴人工智能學院,正式開源了Robo-ValueRL。 這不是一次普通的開源,而是具身智能領域一次相當關鍵的"認知升級"——機器人終于不再對所有數據照單全收,而是學會了"甄別數據優劣"。
01
行業困局:機器人還在"被動學習"
說實話,當前具身智能賽道有一個很尷尬的現實:大多數模型本質上還在做"復讀機"。
![]()
人工遙操作采集的軌跡里,優質動作、猶豫動作、糾偏動作、失敗動作、無效操作混雜在一起。模型沒有能力區分這些片段的價值,只能全盤接收、混同訓練。結果是數據量堆上去了,但精度和穩定性卻卡在天花板,甚至越練越弱——學新忘舊,陷入典型的災難性遺忘。
更關鍵的是,這種"來者不拒"的訓練模式,直接限制了機器人的應用場景。目前行業落地大多集中在大件搬運、粗粒度放置這類低精度場景,半導體精密裝配、3C制造等高價值工業場景始終打不開。
這不是技術選型的問題,而是底層范式的瓶頸。
02
Robo-ValueRL的核心解法:
給機器人裝一個"價值雷達"
這次開源的Robo-ValueRL,本質上是在傳統VLA(Vision-Language-Action)框架里,塞進了一個價值估計器。
這個價值估計器的作用,相當于給機器人裝了一個"質量雷達"——它能基于歷史觀測信息,對軌跡數據進行質量判定,篩選高價值樣本,把低質量干擾數據擋在訓練門外。
![]()
具體來說,它解決了三個真實場景痛點:
視覺遮擋:單幀畫面被遮擋時,歷史信息能補全判斷
觀測歧義:重復紋理、相似場景下,歷史軌跡提供上下文
任務狀態重復:避免在循環狀態中誤判進展
從實驗數據看,這個價值估計器對任務進展和動作質量具備雙重感知:任務平穩推進時價值曲線整體上升;一旦出現失誤或偏差,價值估計會立即捕捉下降信號,輔助定位錯誤節點。
一句話:機器人終于知道哪些經驗值得學,哪些該扔掉。
03
技術架構:凍結主干+殘差微調,
破解"進化悖論"
在線迭代中的災難性遺忘,是具身智能長期面臨的"進化悖論"——模型在新場景上微調時,會全局更新權重,前期習得的精密操作技能被覆蓋,越迭代越退步。
Robo-ValueRL的應對策略很務實:凍結預訓練主干,用輕量殘差適配器做增量微調。
![]()
這意味著模型保留了預訓練階段的核心通用能力,只針對具體失敗模式學習修正策略。配合人在回路的數據采集機制,模型可以在真實環境中持續交互、篩選高質量樣本、精準微調,實現"學新盡量不丟舊、越練越穩"。
04
落地數據:從46%到86%,
這不是簡單的數字跳漲
官方披露了僅訓練6天的真機驗證數據:
場景
初始成功率
迭代后成功率
毫米級芯片精密插裝
46%
86%
長時序積木拆解
60%
84%
橫向對比Dagger等主流算法,Robo-ValueRL在雙任務中均取得更優表現。更值得關注的是效率維度:人類遙操作完成單次芯片插入通常需要2-3次嘗試,而搭載該框架的機器人可一次完成毫米級精密插入,作業效率達到人類操作員的1.5倍。
![]()
從46%到86%,從60%到84%,這組數據的真正意義不在于漲幅本身,而在于它標志著人形機器人從"被動模仿"向"價值引導學習"的范式轉變。
05
全棧開源:不只是放代碼,
而是放一套可復現的技術棧
這次開源的誠意值得關注——論文、代碼、數據、模型同步開放。
區別于行業內常見的"只放演示視頻"或"部分結果開源",Robo-ValueRL提供的是一套完整的離線預訓練+在線自適應微調全鏈路VLA強化學習技術棧。研究社區可以系統分析價值估計在機器人學習中的作用,產業研發團隊也能基于真實數據和模型工具,進一步探索高精度操作在半導體、3C制造等場景的應用。
06
一點觀察
具身智能賽道今年明顯在加速,但"加速"不等于"成熟"。Robo-ValueRL的價值在于,它瞄準了一個被長期忽視但至關重要的環節——數據質量評估與在線持續進化。
在工業落地層面,精度、穩定性、可迭代性缺一不可。價值估計器的引入,讓機器人具備了"自我甄別"能力;凍結主干+殘差微調的架構設計,則保證了這種能力可以持續進化而不退化。
當然,86%的成功率距離工業級"零缺陷"標準仍有距離,長時序任務的泛化能力也需要更多場景驗證。但至少,具身智能已經邁出了從"粗放模仿"到"精細化學習"的關鍵一步。
![]()
未經「AI科技評論」授權,嚴禁以任何方式在網頁、論壇、社區進行轉載!
公眾號轉載請先在「AI科技評論」后臺留言取得授權,轉載時需標注來源并插入本公眾號名片。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.