盧宗青團隊新作：人類先驗打底，統(tǒng)一動作對齊，通用機器人模型正在落地

Being-H0.5：通用模型接近專用，長程雙臂更穩(wěn)，部署機制作用明確。

作者丨鄭佳美

編輯丨岑峰

如果說過去幾年大模型革命解決的是“機器會不會說話、會不會看圖”，那么機器人行業(yè)真正的問題是另一層：機器能不能在真實世界里把理解變成行動，并且在長期、重復、帶噪聲的執(zhí)行過程中始終穩(wěn)定可控。

具身智能的難點從來不在于讓機器人做出一次漂亮的demo，而在于讓它在換環(huán)境、換物體、換硬件、換任務鏈之后仍然可靠工作。現(xiàn)實中，機器人策略的通用化被三道結構性門檻牢牢卡住。

第一道門檻是形態(tài)割裂。機械臂、夾爪、靈巧手、人形上肢的關節(jié)定義與動作空間完全不同，導致數(shù)據(jù)難以共享，一個模型往往只能綁定一種硬件，換平臺就等于重訓。

第二道門檻是數(shù)據(jù)成本與覆蓋。真實機器人數(shù)據(jù)昂貴、稀缺、分布窄，既難覆蓋長程任務，也難覆蓋復雜交互，更難支撐跨形態(tài)泛化。

第三道門檻則來自部署系統(tǒng)本身。大量視覺語言動作模型在仿真或離線評估中表現(xiàn)不錯，但一上真機就會暴露出控制頻率不同步、動作抖動、誤差累積、雙臂互相干擾等問題，本質上不是模型不聰明，而是缺少面向真實閉環(huán)系統(tǒng)的穩(wěn)定性機制。

因此，行業(yè)在表面上看是在追逐更高的benchmark 成功率，但底層競爭其實正在轉向另一種能力：誰能把通用策略訓練出來，并把它穩(wěn)定地部署到真實機器人上，誰就有可能率先跨過從研究走向產(chǎn)品的那道門檻。

在這樣的背景下，智在無界創(chuàng)始人盧宗青團隊提出論文《Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization》，并給出了一條更接近工程閉環(huán)的通用操控路線。

他們并不是單純依靠更大的模型或更多的機器人數(shù)據(jù)堆疊性能，而是從根問題入手：通過以人類為中心的大規(guī)模操控數(shù)據(jù)建立跨形態(tài)動作先驗，通過統(tǒng)一state-action 空間解決不同硬件之間動作語言不一致的障礙，并結合更強的動作生成建模能力與面向真實系統(tǒng)的穩(wěn)定部署機制，系統(tǒng)性回答通用機器人策略能否在多形態(tài)平臺上穩(wěn)定工作并真正實現(xiàn)部署這一核心問題。

01
通用接近專用

這項工作的實驗結果并不是簡單地說明成功率更高，而是圍繞一個核心問題展開：一個模型能否同時學會操控不同形態(tài)的機器人，甚至包括人手的動作方式，并且在真實機器人上部署時依然保持穩(wěn)定可靠。

因此，研究團隊將實驗結果主要分為三類進行呈現(xiàn)，分別是真實機器人結果、仿真基準結果和消融實驗結果。

在真實機器人實驗中，研究人員設計了兩種模型設置。一種是Being-H0.5-specialist 專用型，主要用于某一種機器人，進行了更強的對齊與適配，目標是追求最大性能。另一種是Being-H0.5-generalist 通用型，同一個模型需要適應不同機器人形態(tài)，目標是提升泛化與遷移能力。

整體實驗結論表明，專用型模型的整體表現(xiàn)最好，而通用型模型僅略低，二者在很多任務類別中的差距并不大，尤其是在共享技能強、動作模式類似的任務上表現(xiàn)非常接近。

進一步來看，研究團隊按能力需求將真實機器人任務劃分為空間類任務Spatial、長程任務Long-horizon、雙臂任務Bimanual 和泛化任務Generalization，并發(fā)現(xiàn)Being-H0.5 相比π0.5 的提升幅度最大出現(xiàn)在Long-horizon 和Bimanual 兩類任務中。

這一點非常關鍵，因為長程任務往往包含多個步驟，微小的動作誤差會不斷累積，極容易導致后續(xù)任務失敗，而雙臂任務需要兩只手之間保持實時協(xié)同，對動作時序與空間耦合要求更高，因此這兩類任務最能檢驗策略是否真正具備可部署的穩(wěn)定性。

此外，研究過程中還發(fā)現(xiàn)，在某些任務例如清桌子這一類容器整理和收納交互場景中，通用型模型甚至可能接近或超過專用型模型的表現(xiàn)。直觀來看，這類任務需要反復使用抓取、移動、放置等通用子技能，而通用型模型由于在更多機器人和更多任務中學習過類似動作結構，往往表現(xiàn)得更穩(wěn)定，相比之下專用型模型雖然對單一機器人更強，但也更容易對某些特定動作習慣產(chǎn)生過擬合。

在關鍵消融實驗中，研究團隊重點分析了UniHand-2.0 預訓練是否必要。實驗結論表明，對于專用型模型來說，即使沒有UniHand-2.0 預訓練，也能夠通過后續(xù)的機器人微調(diào)學習到不少能力，但對于通用型模型來說，如果缺少UniHand-2.0 預訓練則會出現(xiàn)明顯性能崩塌，在多機器人混合學習中更容易表現(xiàn)出能力不足或不穩(wěn)定。

這說明 UniHand-2.0 的作用并不僅僅是擴大數(shù)據(jù)規(guī)模，而是為訓練過程提供了一種跨形態(tài)共享的操控先驗，使模型能夠理解操控動作的合理分布，從而更有效地吸收來自不同機器人形態(tài)的動作數(shù)據(jù)。為了支撐這種跨形態(tài)操控能力學習，研究團隊構建的UniHand-2.0 總規(guī)模超過35,000 hours，包含120B tokens 與400M samples，并融合了人類第一視角手部操作數(shù)據(jù)16K hours、機器人操控數(shù)據(jù)14K hours 覆蓋 30種機器人形態(tài)，以及視覺語言理解數(shù)據(jù)約 5K equivalent hours，為模型提供了更豐富的動作先驗與語義對齊基礎。

在仿真基準實驗中，Being-H0.5在 LIBERO benchmark 上取得了非常強的表現(xiàn)，平均成功率達到98.9%，在更困難的長程子集LIBERO-Long 上也達到了97.4%，并且僅使用 224×224 的 RGB 圖像輸入。

考慮到 LIBERO 具有多任務、多場景以及明顯的長程操作鏈特點，這樣接近 99% 的成功率表明模型不僅能夠執(zhí)行動作，還具備很強的任務穩(wěn)定性、閉環(huán)糾錯能力以及對序列動作結構的學習能力。

此外，在RoboCasa廚房任務中，這一基準包含 24 個任務，更接近真實家庭場景，涉及多對象、多容器以及頻繁接觸交互過程，Being-H0.5在整體對比中同樣領先多個基線方法，包括部分 3D方法，這說明模型不僅在桌面任務上有效，也能夠在更復雜的家庭操作場景中保持較強性能，并且在RoboCasa benchmark 上給出了53.9% 的成功率表現(xiàn)。

最后，在部署相關實驗中，研究團隊強調(diào)模型的真實可用性不僅取決于訓練策略，也依賴部署系統(tǒng)的穩(wěn)定性，因此引入了MPG 和 UAC 兩個關鍵機制。MPG 的作用是抑制不合理動作輸出，使動作保持在合理分布的流形附近，UAC的作用是解決感知幀率與控制頻率不同步的問題。

消融結果顯示，一旦去掉 MPG 和 UAC，長程任務的性能下降最明顯，雙臂任務也會明顯變差，更容易出現(xiàn)抖動、猶豫或修正過度等現(xiàn)象。這一結果說明，部署時的穩(wěn)定性機制對長程和雙臂任務的可靠執(zhí)行至關重要，而這也體現(xiàn)了這項工作相比許多只關注離線評估或仿真成功率的研究，更重視真實部署系統(tǒng)中時序和穩(wěn)定性問題的解決。

02
對齊與生成并重

為了達到以上效果，研究團隊主要設計了五個階段，包括訓練數(shù)據(jù)體系構建、跨形態(tài)動作對齊、模型訓練架構設計、下游評估驗證以及消融實驗分析。

首先在數(shù)據(jù)構建階段，研究人員搭建了UniHand-2.0 數(shù)據(jù)集，這套數(shù)據(jù)并不是傳統(tǒng)意義上只收集機器人數(shù)據(jù)，而是融合了三類來源，包括人類第一視角手部操作數(shù)據(jù)16K hours、機器人操控數(shù)據(jù)14K hours 覆蓋 30種機器人形態(tài)，以及視覺語言理解數(shù)據(jù)約 5K equivalent hours。同時，UniHand-2.0的總規(guī)模超過 35,000 hours，包含 120B tokens 與 400M samples，為跨形態(tài)操控能力學習提供了更扎實的數(shù)據(jù)基礎。

這樣設計的核心動機是緩解真實機器人數(shù)據(jù)昂貴、稀缺且覆蓋范圍有限的問題，同時利用人類手部動作數(shù)據(jù)的豐富性與自然性提供更大規(guī)模的操控先驗，并通過VLM 數(shù)據(jù)補齊語言理解與場景語義的能力缺口，從而形成面向操控任務的多模態(tài)預訓練材料庫。

其次在跨形態(tài)對齊階段，這項工作引入Unified State-Action Space 解決不同形態(tài)動作空間不一致帶來的訓練困難，例如人手關節(jié)空間與機器人關節(jié)空間不相同，不同機器人之間action 維度也存在差異，若直接拼接action 進行訓練會導致模型混亂。

為此，研究人員將不同形態(tài)的狀態(tài)與動作映射到統(tǒng)一state-action 空間，使模型學習通用操控語義而非某一種硬件的關節(jié)角度，從而實現(xiàn)跨機器人知識共享與遷移。

在模型訓練架構上，研究團隊采用MoT 與 MoF 的組合，使模型同時具備理解能力與動作生成能力，其中Understanding Expert 負責圖像與語言信息的理解并形成任務意圖表示，Action Expert 負責連續(xù)動作輸出與長序列控制，并通過Mixture of Flow MoF 提升動作生成的表達能力，最終形成Being-H0.5 模型體系。

隨后在下游評估階段，研究人員采用真實機器人與仿真基準相結合的方式進行驗證，仿真部分在LIBERO 和RoboCasa 上評估以保證可復現(xiàn)性與橫向對比性，真實機器人部分則用于檢驗閉環(huán)控制表現(xiàn)以及硬件噪聲、時序不同步與誤差累積條件下的部署穩(wěn)定性，并通過specialist 與generalist 的對比進一步衡量通用模型帶來的性能代價。

最后在消融實驗中，研究團隊從三方面驗證關鍵設計的有效性，包括去掉UniHand-2.0 預訓練以檢驗human-centric pretrain 對generalist 的必要性，去掉MPG 與 UAC 以評估部署穩(wěn)定性機制是否關鍵，以及通過凍結不同層數(shù)探索全量更新與部分更新在性能與穩(wěn)定性上的差異，從而更系統(tǒng)地分析模型能力來源與關鍵模塊貢獻。

03
從研究走向落地

從實驗意義來看，這項工作的結果為通用機器人策略的發(fā)展提供了關鍵證據(jù)。首先，它證明跨形態(tài)統(tǒng)一動作學習是可行的。傳統(tǒng)機器人學習往往一個模型只適配一種硬件，換機器人就要重訓，數(shù)據(jù)也難以共享，導致訓練成本高且復用效率低。

而工實驗結果表明，只要實現(xiàn) action space 的統(tǒng)一并配合足夠強的預訓練，多機器人共享同一套策略是能夠做到的，并且generalist 的性能只比specialist 略低，甚至在不少任務上接近，這直接提升了機器人基礎模型路線的現(xiàn)實可行性。

其次，這項工作強調(diào)人類手部視頻與動作數(shù)據(jù)并不是輔助，而是通用策略的底座。消融實驗顯示，UniHand-2.0的人類中心預訓練是generalist 模型保持穩(wěn)定能力的關鍵因素，這意味著人類動作數(shù)據(jù)為策略提供了更合理、更自然的動作先驗，從而增強其泛化能力與跨機器人遷移能力。

同時 UniHand-2.0 總規(guī)模超過 35,000 hours，包含 120B tokens 與 400M samples，也說明這種人類中心預訓練具備足夠的數(shù)據(jù)支撐。

第三，工作指出了機器人智能真正難點在于可部署的長程穩(wěn)定性，而不僅是離線或仿真成功率。許多視覺語言動作模型在仿真中表現(xiàn)不錯，但部署到真實機器人時容易出現(xiàn)抖動、動作發(fā)散、延遲累積失敗，甚至雙臂互相干擾。

研究通過 MPG 與UAC 的實驗結果說明，要讓foundation policy 真正可部署，必須顯式解決動作分布約束與異步控制問題，使策略在真實系統(tǒng)中保持穩(wěn)定可靠。

最后，研究也提供了一個較清晰的通用模型訓練范式，即通過大規(guī)模人類中心數(shù)據(jù)建立操控先驗，通過統(tǒng)一state-action 空間實現(xiàn)跨形態(tài)對齊，通過更強動作生成建模能力提升控制表達，并結合穩(wěn)定部署機制提高真實環(huán)境下的執(zhí)行可靠性。

整體來看，它不是依靠某一個單點技巧，而是從數(shù)據(jù)、對齊、生成到部署穩(wěn)定性進行了端到端的全鏈路構建，因此更具備可擴展性，也更接近通用機器人操控智能的發(fā)展方向。

04
研究背后的科研團隊

盧宗青，北京大學計算機學院長聘副教授，國家青年人才，北京智源學者；主要研究強化學習、多模態(tài)大模型和具身智能，發(fā)表領域頂級論文100余篇，擔任ICML、ICLR、NeurIPS等機器學習會議領域主席；獲國家自然科學基金原創(chuàng)探索項目資助。

參考鏈接：https://z0ngqing.github.io/

未經(jīng)「AI科技評論」授權，嚴禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。