機器人看視頻學操作！伯克利首次打通互聯(lián)網(wǎng)視頻到靈巧手真機部署鏈路

新智元報道

【新智元導讀】只用單目RGB視頻，Do as I Do將日常人類操作轉(zhuǎn)化為 Sharpa Wave 可執(zhí)行軌跡，補上類人靈巧操作從視頻到機器人數(shù)據(jù)的關(guān)鍵鏈路。

人類學習靈巧操作，往往是從「看」開始的。

孩子看別人打蛋、倒水、釘釘子，慢慢就能通過模仿學會這些動作。但機器人不一樣。今天的機器人學習，更多還是靠「做」，比如成本較高的遙操作、大量仿真執(zhí)行，或是在精心布置的場景中采集真機數(shù)據(jù)。

事實上，可供機器人「看」的數(shù)據(jù)早已存在。YouTube、第一視角數(shù)據(jù)集以及生成式視頻中，已經(jīng)包含了海量人手與物體交互的素材。真正的瓶頸不在數(shù)據(jù)缺失，而在于是否能完成數(shù)據(jù)轉(zhuǎn)換：如何把這些帶有噪聲的單目RGB視頻，變成多指靈巧手能夠執(zhí)行的動作軌跡？

UC Berkeley團隊提出的端到端流程旨在解決該問題，研究團隊跑通了首條能夠從網(wǎng)絡(luò)視頻生成真實靈巧手實機執(zhí)行軌跡的完整鏈路：先從真實場景中的單目RGB視頻中重建4D手-物交互過程，再將這些交互軌跡重定向到擁有22個自由度的Sharpa Wave靈巧手上。

論文鏈接：https://arxiv.org/abs/2606.19333

項目鏈接：https://do-as-i-do.com/

整條路徑在20類操作動作中生成了500條經(jīng)過驗證的軌跡，并在雙UR3e機械臂+雙Sharpa Wave平臺上，以50Hz部署10個真實任務(wù)。

問題：「看見」≠「會做」

要把靈巧機器人數(shù)據(jù)規(guī)模化，仍然繞不開三個結(jié)構(gòu)性難題：

1. 單目RGB視頻中的手-物交互仍難以穩(wěn)定重建

真實場景視頻往往存在運動模糊、遮擋、深度歧義等問題，物體種類也不固定。FoundationPose一類跟蹤方法，在輕微模糊下就可能丟失位姿鎖定。而一些聯(lián)合重建方法則更依賴實驗室環(huán)境，或只能處理預(yù)先設(shè)定好的物體類別。

如果沒有穩(wěn)定的4D手-物重建，人類視頻就很難用在機器人學習中。

1. 帶噪聲的參考軌跡會讓動作重定向失效

此前的動力學感知動作重定向方法，例如SPIDER或基于強化學習（RL）的跟蹤方法，通常假設(shè)輸入的是干凈的MoCap真值數(shù)據(jù)。但事實上，從網(wǎng)絡(luò)視頻中重建出來的參考軌跡可能并不干凈。它們可能存在時間上的不連續(xù)、接觸關(guān)系錯位，甚至包含物理上無法成立的初始狀態(tài)。

這些問題會直接影響后續(xù)優(yōu)化。論文實驗顯示，直接使用基于采樣的優(yōu)化方法，在這類帶噪聲參考軌跡上的失敗率可達到75%。

1. 遙操作本身難以規(guī)模化

遙操作可以提供真實機器人數(shù)據(jù)，但成本很高。它依賴專業(yè)操作人員、專用設(shè)備，還需要圍繞具體任務(wù)逐一采集。單靠遙操作，想覆蓋一小時人類做飯視頻里的豐富操作都很難，更不用說覆蓋整個互聯(lián)網(wǎng)中的海量人類視頻。

所以，Do as I Do想回答的問題是：僅靠單目RGB視頻，不預(yù)設(shè)抓取先驗，也不限定剛性物體類別——機器人能不能從"看到"走向"做到"？

解決方案

Do as I Do的流程分為兩個階段：

階段一：用引導式擴散穩(wěn)定跟蹤物體

SAM 3D可以為單幀圖像生成物體網(wǎng)格。但如果把每一幀都獨立處理，生成結(jié)果很容易漂移，也難以保持時間上的連續(xù)性。

所以Do as I Do嘗試先選定一個錨定幀，并在這一幀中固定物體形狀。在后續(xù)幀的流匹配去噪過程中，系統(tǒng)會讓當前幀的位姿采樣結(jié)果向上一幀的位姿靠攏，從而在保持物體形狀一致的同時，得到更連續(xù)的位姿軌跡。同時，系統(tǒng)還會根據(jù)2D點跟蹤估計出的物體旋轉(zhuǎn)速度，自適應(yīng)調(diào)整位姿。這樣可以避免跟蹤過于僵硬，也能減少錯誤翻轉(zhuǎn)。

在150個真實場景視頻的人工對比評估中，評估者在67%的樣本里認為Do as I Do的跟蹤結(jié)果好于FoundationPose。在不少樣本中，多位評估者給出了一致判斷。

階段二：面向帶噪聲參考軌跡的穩(wěn)健動作重定向

Do as I Do在SPIDER的采樣 / MPPI優(yōu)化框架基礎(chǔ)上，進一步加入了三項設(shè)計，用來處理從網(wǎng)絡(luò)視頻中重建出的噪聲參考軌跡：

綜合這些改進后，Do as I Do在帶噪聲的真實場景參考軌跡上，將動作重定向成功率從25%提升到71%。

實驗結(jié)果

重建能力基準測試（SOTA）

動作重定向基準測試

500條已驗證軌跡的數(shù)據(jù)來源

該方法最終覆蓋20類操作動作。這些動作并不是單一的拿取或放置，而是更貼近人類日常生活的復雜操作，包括放置、拿取、擦洗、涂抹、擠壓、熨燙、刷涂、除塵、挖掘、擦除、傾倒、書寫、攪打、攪拌、戳刺、壓實、鉆孔、錘擊、切割和刷醬汁。

實機部署

這些軌跡不只停留在仿真里。研究團隊從中選取了10項代表性動作，部署到雙UR3e機械臂+雙Sharpa Wave靈巧手平臺上，以50Hz控制頻率完成了實機執(zhí)行。

部署的動作覆蓋了不同物體形狀和多種抓握方式，包括書寫式三指抓握、力量抓握、掌側(cè)抓握和平行伸展抓握。

Sharpa Wave擁有22個自由度，尺度接近人手，因此更適合作為人類手部動作遷移的目標本體。攪打、攪拌、錘擊等動作都需要雙手配合完成，而這些很難靠傳統(tǒng)平行夾爪實現(xiàn)。Wave超過4Hz的手勢切換頻率和50N指尖力，撐得住這些動作的力度和速度要求。

從重建、仿真（MuJoCo Warp，200Hz）到真實部署，研究團隊都將Sharpa Wave作為動作重定向的目標手型，把人類視頻中的操作軌跡遷移到這一本體上。

EgoScale同樣將人類手部關(guān)鍵點重定向到這一手型上，CAIP則在Dexmate Vega+雙Wave平臺上進行評估驗證。因為目標手型更接近人手，系統(tǒng)在從人類動作遷移到機器人執(zhí)行時，需要跨越的形態(tài)差異也更小。

篩選手冊：為什么95%網(wǎng)絡(luò)視頻還不能直接用

對于希望規(guī)模化利用人類視頻數(shù)據(jù)的團隊來說，包括EgoScale這類方向的研究團隊，Do as I Do 還給出了一個很實用的提醒：視頻不是越多越好，能不能篩出可用數(shù)據(jù)同樣重要。

研究團隊分析了100DOH數(shù)據(jù)集中的2000個10秒視頻片段（已經(jīng)過手-物交互篩選）：

結(jié)果很直接：如果不先對原始視頻進行預(yù)處理，直接把網(wǎng)絡(luò)視頻投入機器人學習，真正可用的數(shù)據(jù)可能只剩約二十分之一。因此，Do as I Do也總結(jié)出了一套數(shù)據(jù)篩選要點：檢查手和物體是否始終在畫面內(nèi)，確認動作是否跨越鏡頭切換，排除相機運動過大的片段，并識別SAM 3D可能失敗的情況。對任何希望在靈巧手上打通「人類視頻到機器人執(zhí)行」流程的團隊來說，這套篩選流程將成為繞不開的基礎(chǔ)環(huán)節(jié)。

結(jié)論：人類視頻正在變成機器人數(shù)據(jù)

在過去很長一段時間里，「Do as I Do」更像是人工智能領(lǐng)域（AI）的一個理想：讓機器人看懂人類示范，并把這些動作遷移到自己的身體上。而UC Berkeley的這個研究正在把這個理想變成現(xiàn)實：輸入一條視頻鏈接，系統(tǒng)可以重建其中的手-物交互過程，并將它轉(zhuǎn)化為Sharpa Wave可執(zhí)行的動作軌跡。

從某種意義上來說，世界上最大的操作數(shù)據(jù)集其實早已存在——它們就藏在每天被人們拍下、上傳和分享的視頻里。Do as I Do要做的，就是把這些視頻轉(zhuǎn)化成靈巧手能執(zhí)行的22個自由度關(guān)節(jié)軌跡。

觀看，重建，重定向，然后在真實機器人上執(zhí)行。

參考資料：

https://do-as-i-do.com/

編輯：LRST