李飛飛 、 英偉達(dá) Jim Fan 、徐丹飛三巨頭聯(lián)合重磅論文，改寫(xiě)靈巧手觸覺(jué)賽道

大數(shù)據(jù)受權(quán)轉(zhuǎn)載自ai科技評(píng)論

作者丨齊鋮湧

編輯丨林覺(jué)民

近日，具身領(lǐng)域的一篇 “神仙陣容” 的論文出圈。

AI 教母李飛飛、NVIDIA 的 Jim Fan（范麟熙）、00 后具身華人新星徐丹飛、朱玉可、UC Berkeley 的 Trevor Darrell、Pieter Abbeel、Ken Goldberg、Jitendra Malik…… 可以說(shuō)，這串名單幾乎集齊了當(dāng)前全球 AI 與機(jī)器人領(lǐng)域最頂尖的 “最強(qiáng)大腦”，隨便拎兩個(gè)出來(lái)都能撐起一場(chǎng)頂會(huì) keynote。

然而，他們湊在一起做的第一件事，居然落在一個(gè)非常細(xì)微的領(lǐng)域：靈巧手。

更讓人驚訝的是，這篇論文得出了一個(gè)非常反直覺(jué)的實(shí)驗(yàn)結(jié)果：

過(guò)去具身行業(yè)在靈巧手觸覺(jué)的探索方向，可能錯(cuò)了。

01

靈巧手之殤

在大眾看來(lái)，靈巧手賽道有兩個(gè)趨勢(shì)，一是 demo 越來(lái)越炫，而是銷量越來(lái)越多。

今年春晚靈巧手盤(pán)核桃已經(jīng)足夠驚艷，不久前，Sharpa 又曬出靈巧手削蘋(píng)果的視頻，讓人咋舌稱贊。

此外靈巧手的出貨量越來(lái)越猛，我們拿到一組研究機(jī)構(gòu) GGII 的數(shù)據(jù)，2026 年靈巧手的銷量能達(dá)到 7 萬(wàn)只，是 2025 年的 3.6 倍。并且，在機(jī)器人已經(jīng)來(lái)到萬(wàn)元級(jí)水準(zhǔn)，很多靈巧手單只售價(jià)甚至高達(dá)十多萬(wàn)，幾乎瘋狂。在外行眼里，靈巧手已經(jīng)無(wú)所不能了，關(guān)節(jié)越來(lái)越靈活，手指反應(yīng)越來(lái)越快，也慢慢開(kāi)始有了觸覺(jué)和溫度感知。

但這篇大佬云集的論文，給這一切潑了一盆冷水： 目前給靈巧手加觸覺(jué)，機(jī)器人反而更笨了。

先來(lái)看一個(gè)行業(yè)大背景：具身智能的三條路，走到靈巧手都卡住了。 第一條路：純視覺(jué) VLA。 這是當(dāng)下最熱鬧的路線，π0、GR00T N1、OpenVLA 都在做。它們靠攝像頭理解世界，能做類似移動(dòng)杯子這種粗粒度任務(wù)。 但攝像頭有盲區(qū)，而且感知不到手指和物體之間的細(xì)節(jié)，就像視力 5.0 的人戴手套做針線活，看得見(jiàn)線頭，感覺(jué)不到針有沒(méi)有穿過(guò)去。

第二條路：人類視頻遷移。 這是最近很火的方向，EgoScale 用了 2 萬(wàn)多小時(shí)人類第一人稱視頻做預(yù)訓(xùn)練，EgoEngine 嘗試把人類視頻轉(zhuǎn)成機(jī)器人數(shù)據(jù)。看似互聯(lián)網(wǎng)上人類操作視頻取之不盡，這路子行得通，但落到靈巧手上就不靈了。 原因很簡(jiǎn)單，就像看世界杯梅西踢球，眼睛學(xué)會(huì)了，但上場(chǎng)就不行了。視覺(jué)數(shù)據(jù)提供了動(dòng)作的 "外觀"，卻給不了接觸的 "手感"。

第三條路是遙操作數(shù)據(jù)驅(qū)動(dòng)， 這條路線唯一的優(yōu)點(diǎn)是數(shù)據(jù)質(zhì)量最高，其他都是缺點(diǎn)，比如采集太貴，通道不夠等等。 三條路走到靈巧手這里都卡住了，最核心的原因就是接觸后的反饋閉環(huán)。

簡(jiǎn)單來(lái)說(shuō)，怎么讓靈巧手更好地加入觸覺(jué)。

觸覺(jué)，不是靈巧手領(lǐng)域的新話題。這個(gè)領(lǐng)域過(guò)去有很多探索，比如牛津大學(xué)機(jī)器人實(shí)驗(yàn)室做的 ETac，走的是表征學(xué)習(xí)路線，伯克利做的 ViTacFormer，就把觸覺(jué)和視覺(jué)做交叉注意力融合，Tactile-VLA 則嘗試把觸覺(jué)直接塞進(jìn) VLA 框架。 結(jié)果不少實(shí)驗(yàn)室試了一圈，逐漸形成一個(gè)共識(shí)：

觸覺(jué)可以 "硬塞進(jìn)去"，但塞進(jìn)去之后，模型表現(xiàn)反而更差了。

02

靈巧手領(lǐng)域的“霸王龍”，

給視覺(jué)單開(kāi)一條通道

但好在潑完冷水后，論文也給靈巧手行業(yè)指出了一條明路。

這篇由英偉達(dá)、伯克利、斯坦福聯(lián)合署名的重磅作品，名叫《T-Rex: Tactile-Reactive Dexterous Manipulation》。

T-Rex 是霸王龍的意思，也代表了它在 “靈巧手觸覺(jué)” 領(lǐng)域的地位。

他們先是做了一個(gè)最直觀的實(shí)驗(yàn)：給行業(yè)經(jīng)典模型 π0.5 加上觸覺(jué)條件后，模型做任務(wù)的成功率從 17% 跌到 6%，這個(gè)結(jié)果很讓人震驚，但卻在情理之中。 因?yàn)楹?jiǎn)單粗暴地增加模態(tài)，不等于增加了能力，觸覺(jué)需要自己的時(shí)序編碼、自己的處理通路、自己的訓(xùn)練范式，而不是作為視覺(jué)的 "附屬頻道"。

于是，T-Rex 霸王龍團(tuán)隊(duì)干脆開(kāi)了一個(gè)腦洞，既然 "把觸覺(jué)塞進(jìn)現(xiàn)有模型" 這么難，為什么不給觸覺(jué)單開(kāi)一條 "高速通道"？

T-Rex 的核心洞察很簡(jiǎn)單，但執(zhí)行起來(lái)極其精密。

要做創(chuàng)新，架構(gòu)很重要，大家都知道大語(yǔ)言模型，有個(gè)經(jīng)典的 MoE 專家架構(gòu)，不同專家回答不同的問(wèn)題。

T-Rex 霸王龍采用 Mixture-of-Transformers（MoT）架構(gòu)，類似大模型領(lǐng)域的 MoE 專家架構(gòu)，內(nèi)部有三個(gè)分工明確的專家：

Latent Expert，負(fù)責(zé)預(yù)測(cè)未來(lái)的視覺(jué)狀態(tài)，它類似于廚房的總廚，把控全局，預(yù)判客人需求和菜品走向，看的是手上的物體在哪，要做什么。

Action Expert，它決定手臂和手指的宏觀運(yùn)動(dòng)，它類似于廚師長(zhǎng)，統(tǒng)籌切配，決定食材怎么處理，手伸到哪個(gè)位置、手指擺成什么姿態(tài)、以什么速度接近目標(biāo)，這里有個(gè)細(xì)節(jié)：它的頻率是 5Hz。

最后一個(gè)專家，叫做 Tactile Expert，專門處理指尖傳回的觸覺(jué)信號(hào)，類似于顛勺師傅，它的頻率是 20Hz，高頻顛勺，根據(jù)火候?qū)崟r(shí)調(diào)整。

這個(gè) MoT 專家架構(gòu)設(shè)計(jì)非常關(guān)鍵。它避免了視覺(jué)和觸覺(jué) "搶方向盤(pán)" 的問(wèn)題，就像你開(kāi)車去一個(gè)目的地，GPS 決定走哪條路（5Hz 規(guī)劃），而你的手根據(jù)路面顛簸實(shí)時(shí)調(diào)整方向盤(pán)（20Hz 修正），兩個(gè)系統(tǒng)不打架，各管一攤。

這里我想展開(kāi)介紹一下其中這個(gè) 5Hz 和 20Hz 的快慢設(shè)計(jì)。

Action Expert ，也就是廚師長(zhǎng)，用 5Hz 慢悠悠地規(guī)劃，Tactile Expert 也就是顛勺師傅，用 20Hz 急匆匆地修正，兩者不用互相等。

在一個(gè)動(dòng)作片段里，Action Expert 發(fā)一次指令，Tactile Expert 能插進(jìn)來(lái)修正四次，類似于廚師長(zhǎng)說(shuō)要做甜口的，顛勺師傅立刻開(kāi)始加糖，廚師長(zhǎng)又說(shuō)不要太甜，顛勺師傅也能夠及時(shí)停止。

機(jī)器人手指碰到物體的瞬間，觸覺(jué)反饋立刻就能調(diào)整動(dòng)作，不用等到下一個(gè) "大計(jì)劃" 周期。 此外，20Hz 的 Tactile Expert 顛勺師傅不需要?jiǎng)幽X子，聽(tīng)廚師長(zhǎng)就可以了，自己只需要顛勺，因此它能做到很專注，也就是讓靈巧手的觸覺(jué)修正的計(jì)算量極小，效率高還不費(fèi)電。

03

靈巧手?jǐn)?shù)據(jù)訓(xùn)練的三階段

解決了架構(gòu)之后，就要開(kāi)始考慮數(shù)據(jù)和訓(xùn)練模型了。

T-Rex 霸王龍的訓(xùn)練不是端到端一鍋燉，而是三階段遞進(jìn)。

先用 22,889 小時(shí)的人類第一人稱視頻（EgoScale 數(shù)據(jù)）完成前期預(yù)訓(xùn)練，這個(gè)階段讓模型學(xué)會(huì)如何操作物體。 注意，這個(gè)階段不加入帶觸覺(jué)的數(shù)據(jù)。

為什么呢，一方面當(dāng)然是減少成本，另一方面也保留了大模型零樣本能力，這樣才適合泛化和 scale 嘛。

接著，用 100 小時(shí)真實(shí)機(jī)器人遙操作數(shù)據(jù)做中訓(xùn)練，這個(gè)階段的核心任務(wù)，是把前面學(xué)會(huì)的能力對(duì)齊給機(jī)器人。 注意，這里就要同步觸覺(jué)信號(hào)了，因?yàn)檫@個(gè)階段，機(jī)器人就要學(xué)習(xí)當(dāng)指尖傳感器給出這樣的力 / 形變信號(hào)時(shí)，手指要做出調(diào)整。

最后一個(gè)階段就是后訓(xùn)練，用約 100 條示范做后訓(xùn)練，讓模型適應(yīng)特定任務(wù)的要求，同時(shí)保留前面學(xué)到的觸覺(jué)反應(yīng)能力。

必須說(shuō)一下，這種分段訓(xùn)練的聰明之處在于解耦。

人類視頻提供 "見(jiàn)多識(shí)廣" 的泛化能力，觸覺(jué)數(shù)據(jù)提供 "物理 grounded" 的反饋能力，任務(wù)數(shù)據(jù)提供 "精準(zhǔn)執(zhí)行" 的專項(xiàng)能力。三者各司其職，避免了 "用人類視頻直接訓(xùn)觸覺(jué)" 這種不可能完成的任務(wù)。

04

讓模型讀懂時(shí)間的巧思

當(dāng)然，這套流程看似簡(jiǎn)單，但是細(xì)節(jié)很值得說(shuō)。

先來(lái)看架構(gòu)方面，為了讓觸覺(jué)更聰明，有一個(gè)非常重要的細(xì)節(jié)：時(shí)序。

模型不像是人類，它們沒(méi)有時(shí)間概念，自然不知道動(dòng)作的時(shí)序。但想要感受觸覺(jué)，又要知道隨著時(shí)間流逝，手和杯子接觸的壓力在增大還是減小，是握緊還是松開(kāi)。

T-Rex 用了一個(gè)叫時(shí)序觸覺(jué) VQ-VAE 的編碼器，把高頻觸覺(jué)信號(hào)壓縮成離散的 "token"。 關(guān)鍵在 "時(shí)序"—— 不是拍一張快照，而是看一段視頻。這個(gè)完整的 "手感故事"，靜態(tài)編碼會(huì)完全漏掉這些信息，時(shí)序編碼能完整抓住。

另外，VQ-VAE 把連續(xù)的觸覺(jué)信號(hào)變成了離散的 "詞匯"，就像把一堆嘈雜的電流波形翻譯成 "輕觸"" 打滑 ""壓緊" 這樣的詞。模型處理起來(lái)像讀文字一樣簡(jiǎn)單，學(xué)習(xí)難度直接降了一個(gè)量級(jí)。 這里讓模型能夠 “感受時(shí)間”，然后將它轉(zhuǎn)換成離散的詞匯的設(shè)計(jì)，非常精妙。

最后，再展開(kāi)說(shuō)說(shuō)關(guān)于這篇論文提到的 100 小時(shí)觸覺(jué)數(shù)據(jù)。

T-Rex 的數(shù)據(jù)集設(shè)計(jì)也很有意思。他們沒(méi)有圍繞 "完整任務(wù)" 采集示范（比如 "做一杯咖啡"），而是圍繞動(dòng)作基元 × 物體類別組織數(shù)據(jù)。

具體來(lái)說(shuō)，他們定義了抓、放、推、拉、擰等 22 個(gè) motor primitives（動(dòng)作基元），然后把這 22 個(gè)基元和 200 多個(gè)日常物體組合，覆蓋盡可能多的接觸方式。

這種設(shè)計(jì)的優(yōu)勢(shì)在于組合泛化。模型不需要見(jiàn)過(guò) "用右手食指翻書(shū)頁(yè)" 這個(gè)具體組合，只要它學(xué)過(guò) "剝離" 這個(gè)基元和 "紙張" 這個(gè)物體類別，就能泛化到新任務(wù)上。

100 小時(shí)數(shù)據(jù)被組織成 7,755 條軌跡，中位長(zhǎng)度 29.8 秒，每條軌跡都是一個(gè) "動(dòng)詞 + 名詞" 的組合。

對(duì)比 EgoScale 的 2 萬(wàn)多小時(shí)人類視頻，T-Rex 的 100 小時(shí)機(jī)器人數(shù)據(jù)看起來(lái)少得可憐。但關(guān)鍵在于信號(hào)密度。人類視頻里，接觸過(guò)程是 "黑箱"，你看不到力、看不到形變、看不到滑動(dòng)。

T-Rex 的 100 小時(shí)里，每一幀都有 10 個(gè)指尖的 6 維力 / 力矩信號(hào)和形變深度圖，信號(hào)密度是人類視頻的百倍。 這就是為什么少量高質(zhì)量觸覺(jué)數(shù)據(jù)，勝過(guò)海量無(wú)觸覺(jué)視頻。

05

真機(jī)實(shí)測(cè)，拷打T-Rex 霸王龍

最后，這篇論文給出了 T-Rex 霸王龍的真機(jī)評(píng)測(cè)結(jié)果。

T-Rex 的評(píng)測(cè)不是擺拍，而是 12 個(gè)精心設(shè)計(jì)的接觸密集型任務(wù)，每個(gè)任務(wù) 16 次隨機(jī)初始化嘗試。 這些任務(wù)的選擇本身就很有講究 ：它們都是視覺(jué)幾乎無(wú)法獨(dú)立完成的。

比如翻書(shū)頁(yè)： 機(jī)器人要用右手食指從書(shū)頁(yè)邊緣找到單頁(yè)，利用摩擦分離，然后平滑翻過(guò)去。失敗模式包括：一次帶起多頁(yè)、手指滑脫、翻過(guò)去后頁(yè)面褶皺。

T-Rex 成功率 96%，而純視覺(jué)的 EgoScale 只有 68%。

再看傳遞雞蛋任務(wù)，關(guān)鍵難點(diǎn)在于力的控制，太緊會(huì)捏碎，太松會(huì)滑落。T-Rex 成功率 75%，EgoScale 44%。

分杯子任務(wù)， 從一疊嵌套的塑料杯里，擰出最上面一個(gè)，這需要感知杯壁的形變和摩擦變化，找到分離的臨界點(diǎn)。T-Rex 78%，EgoScale 33%。

其他還有擠牙膏，分類麻將、開(kāi)鎖、酸堿中和、擰燈泡（Screw Lightbulb）等等。

12 個(gè)任務(wù)平均下來(lái)，T-Rex 成功率 65%，比最強(qiáng)基線 EgoScale 的 35% 高出 30 個(gè)絕對(duì)百分點(diǎn)，接近兩倍。

其他基線更慘：π0.5 只有 17%，Tactile-VLA 15%，直接加觸覺(jué)的 π0.5+tactile 跌到 6%，RDP 6%，ViTacFormer 3%。

這組數(shù)字說(shuō)明了幾件事： 第一，大規(guī)模預(yù)訓(xùn)練確實(shí)重要。 從零訓(xùn)練的小模型（ViTacFormer、RDP）全面拉胯，EgoScale 憑借 2 萬(wàn)多小時(shí)人類視頻預(yù)訓(xùn)練脫穎而出。這驗(yàn)證了 "見(jiàn)多識(shí)廣" 的價(jià)值。 第二，但預(yù)訓(xùn)練不夠。 EgoScale 在 35% 卡住了，因?yàn)樗狈佑|后的反饋能力。視覺(jué)能告訴你 "手在哪"，但無(wú)法告訴你 "手指和物體之間正在發(fā)生什么"。 第三，觸覺(jué)需要正確的打開(kāi)方式。 π0.5+tactile 的 6% 直接把觸覺(jué)塞進(jìn)現(xiàn)有 VLA，不是增強(qiáng)而是干擾。

其實(shí)這篇論文值得仔細(xì)去推敲，先看第一步，當(dāng)把觸覺(jué)全關(guān)掉，成功率從 65% 跌到 42%，直接掉 23 個(gè)點(diǎn)，說(shuō)明觸覺(jué)本身值這個(gè)價(jià)，不是擺設(shè)。 但如果保持觸覺(jué)還在，但時(shí)序編碼換成簡(jiǎn)單的 MLP，跌到 58%，掉 7 個(gè)點(diǎn)，說(shuō)明 "看變化過(guò)程" 比 "看單幀快照" 重要。 再如果時(shí)序編碼也在，但讓觸覺(jué)和視覺(jué)同步跑，跌到 60%，掉 5 個(gè)點(diǎn)，說(shuō)明 "讓觸覺(jué)跑快點(diǎn)" 確實(shí)有用。 三個(gè)設(shè)計(jì)缺一不可，拼在一起才湊出完整的 65%。缺任何一個(gè)，似乎都無(wú)法驗(yàn)證這個(gè)邏輯。

06

T-Rex 霸王龍給行業(yè)帶來(lái)了什么

最后總結(jié)一下，T-Rex 這篇論文，其實(shí)并不是創(chuàng)新，很多公司都在探索，包括戴盟、帕西尼等等，這條路徑還有個(gè)名字叫 VTLA，論文結(jié)果是否在更窄的約束條件下實(shí)現(xiàn)，也有待考證。

同樣，這篇論文也不能證明機(jī)器人已經(jīng)擁有了人類意義上的 "手感"。人類的觸覺(jué)是分布式的、全手的、多模態(tài)的，涵蓋皮膚形變、振動(dòng)、溫度、痛覺(jué)。而 T-Rex 只用了 10 個(gè)指尖的力矩和形變深度圖。

論文自己也承認(rèn)，缺少手掌觸覺(jué)、缺少溫度感知、缺少振動(dòng)反饋，這些都是未來(lái)的方向。

但它做了一個(gè)極其重要的概念推進(jìn)：把 "手感" 從一項(xiàng)傳感器配置，變成了一種可以通過(guò)數(shù)據(jù)、時(shí)序表征和模型架構(gòu)共同學(xué)習(xí)的能力。

在 T-Rex 之前，觸覺(jué)在機(jī)器人領(lǐng)域更像是一個(gè) "硬件選項(xiàng)"，你買了帶觸覺(jué)傳感器的手，理論上操作會(huì)更精細(xì)，但實(shí)際上算法不知道怎么用。T-Rex 之后，觸覺(jué)變成了一個(gè) "軟件能力"。 只要你的架構(gòu)設(shè)計(jì)對(duì)了、數(shù)據(jù)組織對(duì)了、訓(xùn)練流程對(duì)了，觸覺(jué)就能真正參與控制閉環(huán)。

這對(duì)整個(gè)行業(yè)的影響是深遠(yuǎn)的。

對(duì)于硬件廠商來(lái)說(shuō)，像 Sharpa Wave 這類 22 自由度、帶高分辨率指尖觸覺(jué)的靈巧手，帶視觸覺(jué)的帕西尼 DexH13 靈巧手售價(jià)在 12 萬(wàn)以上。但這些不再是 "炫技配置"，而是觸覺(jué)反應(yīng)策略的必要基礎(chǔ)。如果指尖只能給出 "碰到 or 沒(méi)碰到" 這種粗粒度信號(hào)，再精巧的時(shí)序編碼也無(wú)法奏效。 對(duì)于算法研究者，T-Rex 提供了一個(gè)可擴(kuò)展的范式：人類視頻預(yù)訓(xùn)練→觸覺(jué)中訓(xùn)練→任務(wù)微調(diào)。這個(gè)范式不依賴遙操作數(shù)據(jù)做預(yù)訓(xùn)練，大大降低了觸覺(jué)策略的門檻。

這些都會(huì)推動(dòng)靈巧手的應(yīng)用落地，精密裝配、手術(shù)輔助、家庭服務(wù)等場(chǎng)景都可以期待。 所以才吸引了李飛飛、NVIDIA 的 Jim Fan、00 后具身華人新星徐丹飛、朱玉可這么多大佬同時(shí)關(guān)注。

Jim Fan 在社交媒體上轉(zhuǎn)發(fā) T-Rex 時(shí)寫(xiě)道："The future of dexterous manipulation is tactile-reactive."（靈巧操作的未來(lái)是觸覺(jué)反應(yīng)的）這句話的分量，不在于它預(yù)言了什么，而在于它定義了一個(gè)新標(biāo)準(zhǔn)：評(píng)價(jià)靈巧手的能力，不再看它有多少個(gè)自由度、能做出多少種姿態(tài)，而是看它能否在接觸發(fā)生的下一毫秒，做出正確的反應(yīng)。

畢竟，人類最精微的操作，翻一頁(yè)書(shū)、穿一根針、給一個(gè)傷口換藥，從來(lái)不是靠 "看得見(jiàn)" 完成的，是靠 "感覺(jué)得到" 完成的。機(jī)器人要追上這一步，還有很長(zhǎng)的路。。

但 T-Rex 證明，這條路是通的。

論文標(biāo)題：T-Rex: Tactile-Reactive Dexterous Manipulation

論文鏈接：https://arxiv.org/pdf/2606.17055

點(diǎn)「贊」的人都變好看了哦！