人手?jǐn)?shù)據(jù)，如何重塑機(jī)器人基礎(chǔ)模型？專訪 LaST-HD 一作劉家銘

至簡(jiǎn)動(dòng)力聯(lián)合北大、港中文、乙太科技—不代替真機(jī)，人手與真機(jī)數(shù)據(jù)共生

作者丨鄧哲敏

編輯丨齊鋮湧

數(shù)據(jù)一直是具身智能最難啃的骨頭。目前幾條主流數(shù)據(jù)路線都存在明顯瓶頸。仿真數(shù)據(jù)采集效率高，卻始終受到虛實(shí)鴻溝限制。真機(jī)遙操作能夠獲得高質(zhì)量數(shù)據(jù)，但采集成本高、效率低，而且大量數(shù)據(jù)與機(jī)器人本體深度綁定，難以復(fù)用。

至簡(jiǎn)動(dòng)力在蘇州交付的首批 100 臺(tái) i7 Pro 機(jī)器人，已進(jìn)入 CNC 上下料等工業(yè)場(chǎng)景部署，這批機(jī)器人采用的，是與行業(yè)主流有所不同的數(shù)據(jù)路線——人手?jǐn)?shù)據(jù)。

圍繞數(shù)據(jù)路線之爭(zhēng)，AI科技評(píng)論對(duì)話至簡(jiǎn)動(dòng)力北大聯(lián)合實(shí)驗(yàn)室RD負(fù)責(zé)人、北京大學(xué)博士生劉家銘。他最新發(fā)表的 LaST-HD 論文，由北京大學(xué)、香港中文大學(xué)、至簡(jiǎn)動(dòng)力、乙太科技等團(tuán)隊(duì)聯(lián)合推出，通過讓機(jī)器人學(xué)習(xí)人手動(dòng)作背后的物理規(guī)律，讓難以利用的人類操作經(jīng)驗(yàn)轉(zhuǎn)化為機(jī)器人技能。在這場(chǎng)對(duì)話中，劉家銘分享了交付背后的技術(shù)問題，也談了談他對(duì)具身領(lǐng)域模型與數(shù)據(jù)發(fā)展方向的判斷。

以下是AI科技評(píng)論與劉家銘的對(duì)話，經(jīng)不改變?cè)獾木庉嬚恚?/p>

01

人手?jǐn)?shù)據(jù)不是來(lái)代替真機(jī)數(shù)據(jù)的

▎AI科技評(píng)論：最近 Human Data 是一個(gè)行業(yè)熱點(diǎn)。有人認(rèn)為，這是機(jī)器人數(shù)據(jù)路線發(fā)生的一次轉(zhuǎn)向，你怎么看？

劉家銘：Human Data 其實(shí)不是今天才出現(xiàn)的新概念。三四年前，在 VLA 還沒有成為主流的時(shí)候，就已經(jīng)有不少工作嘗試?yán)萌耸謹(jǐn)?shù)據(jù)做模仿學(xué)習(xí)。真正變化的是，大模型出現(xiàn)之后，人手?jǐn)?shù)據(jù)第一次有機(jī)會(huì)成為機(jī)器人基礎(chǔ)模型的重要組成部分。

過去幾年，行業(yè)一直更相信真機(jī)數(shù)據(jù)，因?yàn)闄C(jī)器人直接和真實(shí)物理世界交互，看起來(lái)更加原生。但真機(jī)數(shù)據(jù)也有很明顯的問題。首先就是成本。采集一條高質(zhì)量遙操作數(shù)據(jù)，需要機(jī)器人、本體、操作員、場(chǎng)地等整套系統(tǒng)協(xié)同，采集效率遠(yuǎn)低于人手?jǐn)?shù)據(jù)。其次，它很難真正規(guī)模化。現(xiàn)在全球最先進(jìn)的數(shù)據(jù)工廠，本質(zhì)上還是不斷搭建新的實(shí)驗(yàn)室場(chǎng)景。它可以不斷換桌子、換杯子、換家具，但始終很難像人一樣走到真實(shí)世界里采集數(shù)據(jù)。最后是真實(shí)世界的多樣性。很多動(dòng)作，人一天會(huì)自然完成很多次；但如果交給機(jī)器人遙操作，效率會(huì)很低，有些動(dòng)作甚至?xí)驗(yàn)楸倔w限制而變得很別扭。所以 Human Data 真正帶來(lái)的，不只是成本下降，更重要的是，它讓機(jī)器人第一次有機(jī)會(huì)接觸真實(shí)世界中豐富、自然的人類行為。

▎AI科技評(píng)論：未來(lái) Human Data 會(huì)取代機(jī)器人數(shù)據(jù)嗎？

劉家銘：我不這么看。Human Data 和機(jī)器人數(shù)據(jù)不是替代關(guān)系。我們的目標(biāo)也不是讓機(jī)器人完全擬合人。機(jī)器人和人的硬件結(jié)構(gòu)本來(lái)就不同，很多感知能力今天也還做不到完全一致。Human Data 更重要的意義，是把人作為最大的物理數(shù)據(jù)載體，幫助機(jī)器人理解物理世界。真正困難的，其實(shí)不是怎么采數(shù)據(jù)，而是怎么采到高質(zhì)量、高diversity的數(shù)據(jù)，以及機(jī)器人怎么真正學(xué)會(huì)這些數(shù)據(jù)。

▎AI科技評(píng)論：過去很多工作都在研究怎么把人的動(dòng)作映射到機(jī)器人，你們做 LaST-HD 卻提出讓機(jī)器人學(xué)習(xí)人手動(dòng)作背后的物理規(guī)律，是認(rèn)為過去的路走不通嗎？

劉家銘：因?yàn)槲覀冇X得，真正需要對(duì)齊的不是動(dòng)作，而是物理世界的變化。

過去幾年，行業(yè)已經(jīng)嘗試了很多路線。有人做視覺對(duì)齊，把人手替換成機(jī)械臂；有人做動(dòng)作重定向，希望把人的動(dòng)作直接映射到機(jī)器人關(guān)節(jié)；也有工作通過更大的預(yù)訓(xùn)練模型，讓模型自己去適應(yīng)不同本體。這些方法都有價(jià)值，但它們關(guān)注的對(duì)象，本質(zhì)上還是動(dòng)作或者視覺。

我們后來(lái)發(fā)現(xiàn)，一個(gè)更值得關(guān)注的問題是：人和機(jī)器人雖然動(dòng)作不同，但它們改變物理世界的方式是相似的。比如推一個(gè)杯子。人的手和機(jī)器人機(jī)械臂完全不一樣，運(yùn)動(dòng)軌跡也不同，但最終發(fā)生的事情是一致的：杯子向前移動(dòng)，和桌面的接觸關(guān)系發(fā)生變化，里面的水也會(huì)隨著運(yùn)動(dòng)晃動(dòng)。真正一致的，其實(shí)是物理世界。所以我們最后沒有去對(duì)齊動(dòng)作，而是嘗試去學(xué)習(xí)這種共享的物理規(guī)律。

▎AI科技評(píng)論：你們自研的 OOL 手套現(xiàn)在采集了多少人手?jǐn)?shù)據(jù)？

劉家銘：截止到 LaST-HD 這篇論文發(fā)布，公司層面預(yù)訓(xùn)練中可用的人手?jǐn)?shù)據(jù)是 2000 小時(shí)，這不算市面上開源的其他真機(jī)和人手?jǐn)?shù)據(jù)。年底應(yīng)該會(huì)到一兩萬(wàn)小時(shí)。從數(shù)據(jù)量角度來(lái)說(shuō)，我覺得要達(dá)到比較好的泛化，需要考慮三個(gè)問題：第一是質(zhì)量，第二是多樣性，例如：同一個(gè)任務(wù)，同一個(gè) position 收 30 條數(shù)據(jù)對(duì)預(yù)訓(xùn)練反而是有害的，會(huì)讓模型過擬合；第三是數(shù)量，我們目前最大的訓(xùn)練量是 2 萬(wàn)多小時(shí)，模型已經(jīng)出現(xiàn)了不錯(cuò)的泛化能力，downstream finetuning 所需的數(shù)據(jù)量和探索空間都會(huì)變得更好。

佩戴OOL手套采集人手?jǐn)?shù)據(jù)

02

VLA VS 世界模型

▎AI科技評(píng)論：行業(yè)里關(guān)于 VLA 和世界模型的爭(zhēng)論很激烈，有人認(rèn)為 VLA 已死，你怎么看？

劉家銘：我其實(shí)不太喜歡把它們看成競(jìng)爭(zhēng)關(guān)系。很多時(shí)候，它們解決的是同一個(gè)問題，只是角度不同。傳統(tǒng)的 Action Policy，需要自己完成從 0 到 100 分的預(yù)測(cè)。而 VLA 也好，WAM 也好，本質(zhì)上都是在提前提供一部分物理先驗(yàn)。比如視頻生成、世界模型，可以先把未來(lái)可能發(fā)生的狀態(tài)預(yù)測(cè)到五六十分；后面的 Action Policy，只需要完成剩下的部分。這樣，機(jī)器人學(xué)習(xí)的難度就會(huì)低很多。所以我一直覺得，沒有必要糾結(jié)到底是 VLA 還是 WAM。兩者都是為了提供更好的物理先驗(yàn)、更好的推理能力。最終服務(wù)的，都是機(jī)器人對(duì)物理世界的理解。

▎AI科技評(píng)論：所以你不認(rèn)為 VLA 走到了盡頭？

劉家銘：當(dāng)前不少 VLA 工作表現(xiàn)有限，更多反映的是模型與訓(xùn)練數(shù)據(jù)尚未充分、訓(xùn)練策略不是很對(duì)，并非是 VLA 范式本身的能力上限。如果把 instruction following 和 physical reasoning 做好標(biāo)注、真正訓(xùn)練好，VLA 依然具備很強(qiáng)的能力。當(dāng)然，世界模型擅長(zhǎng)建模物理動(dòng)態(tài)、時(shí)序依賴、歷史信息，這也很重要。但我覺得兩者不是對(duì)立的，而是可以在系統(tǒng)里共存。

▎AI科技評(píng)論：論文里提到的隱空間推理，是在這個(gè)思路下做的嗎？

劉家銘：對(duì)，我們?cè)?LaST? 里給了幾個(gè) motivation。第一，世界模型生成有用但慢，把它壓縮到隱空間里，推理效率會(huì)快很多。第二，隱空間自由度更高，可以融合3D信息、本體信息、觸覺信息，不只是視頻或文本。第三，人做大多數(shù)事情的時(shí)候，不需要想象出未來(lái)的狀態(tài)具體什么樣，更像是一種隱空間的學(xué)習(xí)。latent reasoning 在 VLM 和機(jī)器人基礎(chǔ)模型里，都是非常有前景的方向。

03

LaST 是一個(gè)系統(tǒng)

▎AI科技評(píng)論：你有三十多篇一作/共一論文，覆蓋了 VLA 、世界模型、強(qiáng)化學(xué)習(xí)等多個(gè)方向，你的博士研究主線是什么？

劉家銘：我一直研究的是同一個(gè)問題，就是如何讓機(jī)器人真正理解物理世界，并且能夠持續(xù)獲得泛化能力。機(jī)器人今天遇到的很多問題，其實(shí)不是單獨(dú)優(yōu)化一個(gè)模型、一個(gè)算法就能解決的。數(shù)據(jù)決定機(jī)器人能夠?qū)W習(xí)什么；模型決定它如何理解物理世界；訓(xùn)練策略決定它如何持續(xù)進(jìn)化；本體則決定這些能力最終能否真正執(zhí)行出來(lái)。這幾個(gè)部分其實(shí)是相互耦合的。所以我的博士課題一直都是圍繞開放世界機(jī)器人的一體化智能體展開，希望把數(shù)據(jù)、模型、訓(xùn)練策略和本體放到同一個(gè)系統(tǒng)里面思考，而不是各自獨(dú)立優(yōu)化。

▎AI科技評(píng)論：具身領(lǐng)域技術(shù)路線變化很快，很多人為了發(fā)論文不斷追逐熱點(diǎn)，不能顧及落地問題，而你的很多研究最終都進(jìn)入了機(jī)器人量產(chǎn)流程。你做學(xué)術(shù)，是為了發(fā)論文，還是為了機(jī)器人量產(chǎn)？

劉家銘：我做學(xué)術(shù)不是為了發(fā)論文。Robotics 是應(yīng)用研究，如果東西做出來(lái)不能用，那至少提出了一個(gè)好方向，這也挺好。但我們現(xiàn)在追求的論文，是以應(yīng)用為導(dǎo)向的，想構(gòu)建一個(gè)真正能夠持續(xù)學(xué)習(xí)、真正可落地的機(jī)器人系統(tǒng)。

比如 LaST-HD 這篇，我們的 Out-of-Lab 手套，不是為了發(fā)論文設(shè)計(jì)的，是因?yàn)槲覀儼l(fā)現(xiàn)機(jī)器人最大的瓶頸是高質(zhì)量原生人類數(shù)據(jù)。Mixture-to-Human 訓(xùn)練策略，也不是為了刷 benchmark ，而是希望機(jī)器人部署之后，能用少量人手?jǐn)?shù)據(jù)快速適應(yīng)新場(chǎng)景、新用戶。論文里肯定有一些驗(yàn)證科學(xué)問題的設(shè)計(jì)，比如 latent alignment 怎么構(gòu)建、為什么訓(xùn)練策略有效，但更多的設(shè)計(jì)來(lái)自于真實(shí)機(jī)器人研發(fā)過程中的需求。

我比較喜歡的論文風(fēng)格，像 shuran song 老師組的工作，是系統(tǒng)工程。真正的機(jī)器人基礎(chǔ)模型，不應(yīng)該只關(guān)注模型，而應(yīng)該同時(shí)考慮數(shù)據(jù)采集、模型、訓(xùn)練、本體等一系列問題。LaST 系列也是朝這個(gè)方向走了一步。

▎AI科技評(píng)論：LaST 是一個(gè)系列？

劉家銘：對(duì)。很多人最近關(guān)注的是 LaST-HD ，但實(shí)際上它只是 LaST 系列中的一個(gè)環(huán)節(jié)。整個(gè) LaST 系列，都是圍繞機(jī)器人如何學(xué)習(xí)這件事情不斷往前推進(jìn)。LaST? 主要關(guān)注機(jī)器人基礎(chǔ)模型；LaST-R1 探索如何通過后訓(xùn)練進(jìn)一步提升模型能力；TwinRL 希望結(jié)合數(shù)字孿生，讓機(jī)器人能夠更高效地完成強(qiáng)化學(xué)習(xí)；LaST-HD 則關(guān)注如何利用人手?jǐn)?shù)據(jù)，讓機(jī)器人學(xué)習(xí)人類豐富的操作經(jīng)驗(yàn)。最近我們還有一些新的工作，在真機(jī)上的表現(xiàn)已經(jīng)比較不錯(cuò)，可以期待一下。把這些工作放在一起，其實(shí)是在補(bǔ)機(jī)器人學(xué)習(xí)過程中的不同短板。

▎AI科技評(píng)論：至簡(jiǎn)動(dòng)力這次百臺(tái)交付對(duì)你意味著什么？

劉家銘：它驗(yàn)證了我們這套從數(shù)據(jù)、模型、訓(xùn)練策略到本體的一體化管線，是可以跑通的。至簡(jiǎn)動(dòng)力的量產(chǎn)主要由PD方向的同學(xué)推進(jìn)，我這邊更多是前沿技術(shù)探索和技術(shù)支撐。但 LaST 系列的工作，從手套設(shè)計(jì)到物理對(duì)齊再到后訓(xùn)練，最終都要在真機(jī)上驗(yàn)證。百臺(tái)交付就是這個(gè)驗(yàn)證節(jié)點(diǎn)。

04

靈巧手，學(xué)術(shù)與終局

▎AI科技評(píng)論：LaST-HD 里提到先用 latent alignment 做預(yù)訓(xùn)練，再通過少量人手糾錯(cuò)數(shù)據(jù)快速微調(diào)，這種策略是為了提升 benchmark 分?jǐn)?shù)嗎？

劉家銘：后訓(xùn)練這個(gè)設(shè)計(jì)其實(shí)更符合從工業(yè)界反推回來(lái)的思路。我們想探究一種全新的 ToC 范式——機(jī)器人離開實(shí)驗(yàn)室、進(jìn)入用戶家里之后，不停止學(xué)習(xí)，而是持續(xù)性地學(xué)習(xí)，越來(lái)越符合這個(gè)家庭和用戶的使用習(xí)慣。現(xiàn)在進(jìn)家之后大概有三種范式。第一種是遙操，但遙操學(xué)到的是遙操員的習(xí)慣，不是用戶的習(xí)慣。你收拾碗的方式和遙操員不一樣，雖然準(zhǔn)確度可能很高，但用戶希望機(jī)器人按自己的方式干活。第二種是全場(chǎng)景重建，然后在仿真里迭代，但這涉及隱私問題，而且 sim-to-real gap 依然存在。第三種就是我們想提的范式：用戶戴上輕量級(jí)手套，在家里按自己的習(xí)慣做幾遍，交給機(jī)器人做非常簡(jiǎn)單的迭代更新，可能幾十分鐘，機(jī)器人不但把精度從 60 分提到 90 多，更重要的是學(xué)會(huì)了你的習(xí)慣，形成一個(gè)你獨(dú)屬的定制化機(jī)器人。

▎AI科技評(píng)論：這個(gè)愿景技術(shù)上怎么保證？

劉家銘：這完全取決于手套收集的數(shù)據(jù)質(zhì)量。如果數(shù)據(jù)質(zhì)量到位，少量高質(zhì)量人手標(biāo)注數(shù)據(jù)確實(shí)能快速幫助機(jī)器人適應(yīng)新環(huán)境。我們?cè)趯?shí)驗(yàn)室特定任務(wù)和特定場(chǎng)景下統(tǒng)計(jì)得到了 90%+ 的成功率，目的不是為了秀數(shù)字，而是驗(yàn)證這種新范式的可能性——用戶戴上手套試教幾個(gè)小時(shí)甚至更短，機(jī)器人就能適應(yīng)新環(huán)境、新場(chǎng)景、新任務(wù)。這個(gè)才是真正讓我興奮的點(diǎn)。

我覺得機(jī)器人進(jìn)家是早晚的事，但真正重要的是進(jìn)家之后比別人多想一步——用戶肯定希望機(jī)器人按自己的方式、自己的習(xí)慣干活，不希望按別人的方式。個(gè)性化是我們一直想注入給機(jī)器人的能力。

▎AI科技評(píng)論：你覺得靈巧手會(huì)在哪些場(chǎng)景優(yōu)先落地？

劉家銘：未來(lái)一段時(shí)間，可能近幾年，靈巧手更優(yōu)先落地于半開放環(huán)境——工業(yè)柔性制造、自動(dòng)化實(shí)驗(yàn)室、商業(yè)服務(wù)等。這些場(chǎng)景任務(wù)復(fù)雜，但環(huán)境相對(duì)可控，更適合高自由度機(jī)器人部署。如果沒有很好的靈巧手售后支持，我都不建議做靈巧手科研實(shí)驗(yàn)——折手、斷手、冒煙基本是每周都要發(fā)生的事。

家庭場(chǎng)景肯定是最終目標(biāo)，但進(jìn)家之后面對(duì)的是完全開放的環(huán)境，不同家庭、不同用戶、不同操作習(xí)慣，高自由度加上高泛化難度，難上加難。這也是我們探究手套數(shù)據(jù)的意義——看看規(guī)模化之后，更好地與模型融合，能不能實(shí)現(xiàn)穩(wěn)定、安全的操作。

▎AI科技評(píng)論：你覺得具身智能的終局比拼是什么？

劉家銘：我覺得不是 80% 和 81% 的內(nèi)卷，而是最后 20% 的長(zhǎng)尾與個(gè)性化。預(yù)訓(xùn)練能把模型基礎(chǔ)能力拉到 80 分，大家都能做；我一直喜歡的一個(gè)概念是機(jī)器人千人千面，我們不光要在下游任務(wù)中賦予機(jī)器人百分百的精度，還有讓他學(xué)會(huì)你的操縱習(xí)慣與邏輯。場(chǎng)景自適應(yīng)、持續(xù)學(xué)習(xí)、個(gè)性化記憶，才是拉開差距的關(guān)鍵。數(shù)據(jù)飛輪的關(guān)鍵不是采得多，是真實(shí)場(chǎng)景、持續(xù)回流、在線優(yōu)化。誰(shuí)能把這套閉環(huán)跑通，誰(shuí)才能笑到最后。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。