最強(qiáng)人形機(jī)器人全身遙操作系統(tǒng)！十大AI機(jī)構(gòu)人員聯(lián)手推出，單塊消費(fèi)級(jí)GPU即可運(yùn)行

大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自頭部科技

文丨丁靈波

全身人形機(jī)器人遙操作技術(shù)允許人類遠(yuǎn)程控制人形機(jī)器人，既可作為實(shí)時(shí)作業(yè)工具，也可作為可擴(kuò)展的示范數(shù)據(jù)采集引擎，對(duì)于機(jī)器人行業(yè)來(lái)說(shuō)不可或缺。

在廣泛的應(yīng)用場(chǎng)景下，遙操作系統(tǒng)需要無(wú)縫融合幾組往往相互制約的能力：魯棒性、穩(wěn)定性、動(dòng)態(tài)靈活性與精確控制，目前仍是一項(xiàng)極具挑戰(zhàn)性的工作。

近日，來(lái)自 北理工、北大、北京通用人工智能研究院、香港大學(xué)、清華大學(xué)等10大機(jī)構(gòu)的研發(fā)人員合作推出了OmniClone：一款魯棒全能的全身人形機(jī)器人遙操作系統(tǒng)。

據(jù)論文介紹，該系統(tǒng)在單塊消費(fèi)級(jí)GPU上即可實(shí)現(xiàn)高保真、多技能控制，平均關(guān)節(jié)位置誤差（MPJPE）降低超過(guò)66%，計(jì)算資源消耗相較于同類方法低數(shù)個(gè)數(shù)量級(jí)。

此外，OmniClone與控制源無(wú)關(guān)，單一統(tǒng)一策略即可支持實(shí)時(shí)遙操作、生成運(yùn)動(dòng)回放以及視覺(jué)-語(yǔ)言-動(dòng)作（VLA）模型，并能在體型差異極大的不同操作者間泛化。

通過(guò)將診斷式評(píng)估與實(shí)用工程相結(jié)合，OmniClone為可擴(kuò)展的人形機(jī)器人遙操作與自主學(xué)習(xí)提供了更低成本、更易落地的基礎(chǔ)。

現(xiàn)有遙操作的弊端

近年來(lái)業(yè)內(nèi)許多方法顯著拓展了人形機(jī)器人遙操作的能力范圍，但這些系統(tǒng)仍無(wú)法滿足實(shí)際部署所需的魯棒性與任務(wù)無(wú)關(guān)的通用性。

研究人員認(rèn)為主要有兩方面因素：

在評(píng)估方面，現(xiàn)有方法往往只展示孤立、高復(fù)雜度的技能，且僅報(bào)告粗糙的總體指標(biāo)，這些指標(biāo)會(huì)混淆不同類型的運(yùn)動(dòng)模式。

這掩蓋了關(guān)鍵的細(xì)節(jié)差異，例如，一個(gè)策略在標(biāo)準(zhǔn)直立姿態(tài)下可以保持較低的跟蹤誤差，但在深蹲時(shí)卻可能出現(xiàn)明顯的不穩(wěn)定。現(xiàn)有評(píng)估通過(guò)平均化處理掩蓋了這些失效模式，從而忽視了當(dāng)前模型僅適用于窄域場(chǎng)景的問(wèn)題，也忽視了實(shí)現(xiàn)實(shí)用化、泛化部署所必須解決的關(guān)鍵瓶頸。

在系統(tǒng)方面，當(dāng)前遙操作系統(tǒng)的軟硬件配置高度異構(gòu)，且與特定方法緊密耦合，阻礙了真實(shí)場(chǎng)景下的復(fù)現(xiàn)。

以動(dòng)作捕捉為例，VR頭顯 、VICON系統(tǒng)等平臺(tái)采用的人體姿態(tài)估計(jì)算法是閉源專有的，對(duì)用戶而言往往不透明。

姿態(tài)估計(jì)尺度上看似微小的差異，在實(shí)際中會(huì)導(dǎo)致巨大的性能差距，再加上控制頻率、網(wǎng)絡(luò)延遲等因素，這些系統(tǒng)針對(duì)每一位新操作者、每一種不同動(dòng)捕環(huán)境都需要繁瑣的標(biāo)定，嚴(yán)重阻礙了可擴(kuò)展部署。

經(jīng)濟(jì)實(shí)惠，綜合性能SOTA水準(zhǔn)

為了開(kāi)發(fā)一套高效且低成本的解決方案，研究人員首先構(gòu)建了OmniBench——首個(gè)面向人形機(jī)器人全身遙操作的綜合性診斷評(píng)估基準(zhǔn)。

OmniBench在不同工作空間與技能需求下（從高動(dòng)態(tài)敏捷運(yùn)動(dòng)，到穩(wěn)定、精確的準(zhǔn)靜態(tài)操作），按多個(gè)難度層級(jí)系統(tǒng)性評(píng)估策略性能，細(xì)粒度評(píng)估揭示了現(xiàn)有系統(tǒng)中普遍存在的技能失衡問(wèn)題。

在基準(zhǔn)診斷分析的指導(dǎo)下，該團(tuán)隊(duì)提出OmniClone——一套魯棒且低成本的系統(tǒng)，可在各類實(shí)際場(chǎng)景中實(shí)現(xiàn)高保真人形機(jī)器人全身遙操作。

OmniClone采用基于Transformer的高容量全身跟蹤策略，并使用精心設(shè)計(jì)、均衡覆蓋多樣技能（從高動(dòng)態(tài)敏捷運(yùn)動(dòng)到穩(wěn)定操作）的數(shù)據(jù)方案進(jìn)行訓(xùn)練，從而解決了現(xiàn)有模型覆蓋范圍狹窄的問(wèn)題。

除策略學(xué)習(xí)外，OmniClone還加入了系統(tǒng)級(jí)機(jī)制以應(yīng)對(duì)現(xiàn)實(shí)環(huán)境中的擾動(dòng)，包括與操作者無(wú)關(guān)的精細(xì)化運(yùn)動(dòng)重定向和魯棒的數(shù)據(jù)通信，以緩解網(wǎng)絡(luò)波動(dòng)與延遲帶來(lái)的影響。

更重要的一點(diǎn)是，整套系統(tǒng)門檻極低：僅需30小時(shí)運(yùn)動(dòng)數(shù)據(jù)和單塊消費(fèi)級(jí)GPU，計(jì)算資源需求遠(yuǎn)低于同類方法（低數(shù)個(gè)數(shù)量級(jí)）。

OmniClone可在身高1.47米至1.94米的不同操作者之間可靠泛化，并作為與控制源無(wú)關(guān)的平臺(tái)，兼容實(shí)時(shí)遙操作、生成運(yùn)動(dòng)回放以及下游VLA模型。

研究人員開(kāi)展了大量實(shí)驗(yàn)，結(jié)果表明，OmniClone在OmniBench所有維度及真實(shí)場(chǎng)景測(cè)試中均顯著優(yōu)于當(dāng)前最優(yōu)（SOTA）基線。

同時(shí)，研究人員基于OmniClone采集的數(shù)據(jù)訓(xùn)練了一個(gè)VLA策略，在拾取放置與下蹲拾取放置任務(wù)上分別達(dá)到85.71%和80.00%的成功率，在小數(shù)據(jù)場(chǎng)景下實(shí)現(xiàn)高效的自主策略學(xué)習(xí)能力。

開(kāi)啟具身智能“小數(shù)據(jù)高效學(xué)”模式

論文的一作Yixuan Li目前是北京理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院的三年級(jí)博士生，隸屬于北京理工大學(xué)感知、交互與具身實(shí)驗(yàn)室（PIE實(shí)驗(yàn)室），同時(shí)在北京通用人工智能研究院（BIGAI）擔(dān)任研究實(shí)習(xí)生。

同等貢獻(xiàn)作者Le Ma是北京通用人工智能研究院（BIGAI）的高級(jí)研究工程師，擁有香港科技大學(xué)碩士學(xué)位和東南大學(xué)學(xué)士學(xué)位 ，此前曾在百度擔(dān)任算法工程師，研究方向包括具身人工智能、人形機(jī)器人和計(jì)算機(jī)視覺(jué)等。

另一名同等貢獻(xiàn)作者Yutang Lin是北京大學(xué)元培學(xué)院的大三學(xué)生，最近在BIGAI實(shí)習(xí)，研究興趣為機(jī)器人學(xué)、計(jì)算機(jī)視覺(jué)和強(qiáng)化學(xué)習(xí)的交叉領(lǐng)域。

展望未來(lái)，該團(tuán)隊(duì)認(rèn)為仍有諸多頗具前景的研究方向。

例如，通過(guò)擴(kuò)展數(shù)據(jù)方案，在保持整體均衡性的同時(shí)，彌補(bǔ)在極端動(dòng)態(tài)場(chǎng)景（如高跳）中尚存的性能差距，此外，為OmniBench增設(shè)標(biāo)準(zhǔn)化現(xiàn)實(shí)任務(wù)協(xié)議，可進(jìn)一步增強(qiáng)其診斷價(jià)值。

最后，OmniClone與控制源無(wú)關(guān)的特性，為在真實(shí)世界中閉合生成式運(yùn)動(dòng)模型與長(zhǎng)程自主執(zhí)行之間的閉環(huán)提供了可能，讓具身智能從“靠大量數(shù)據(jù)硬訓(xùn)”變成“靠高質(zhì)量小數(shù)據(jù)高效學(xué)”。

GPU 訓(xùn)練特惠！

H100/H200 GPU算力按秒計(jì)費(fèi)，平均節(jié)省開(kāi)支30%以上！

掃碼了解詳情?

點(diǎn)「贊」的人都變好看了哦！