李飛飛 Jim Fan和徐丹飛聯合重磅論文：機器人靈巧手可能走錯了路

人類不只是用眼睛操控這個世界。

把一張薄卡片插進卡槽、擰開一把鎖、從一疊紙杯中分出一個，這些動作之所以對人類毫不費力，靠的不是視覺，而是指尖傳回大腦的那一點點壓力與滑動信號。然而在機器人領域，觸覺長期被當作"錦上添花"的附屬模態，真正決定動作的始終是視覺。

過去兩年，隨著具身智能和 VLA 模型快速發展，機器人的任務開始從"看得見、拿得起"邁向"摸得準、做得細"。從 Physical Intelligence 的 π0，到 NVIDIA 的 GR00T，再到 UC Berkeley 的 EgoScale，越來越多研究開始挑戰翻書、插卡、擰燈泡、分紙杯等接觸密集型任務。

在一次次的任務中，研究者們開始發現，雖然視覺負責找到物體，但真正決定操作成敗的，往往是接觸發生后的那幾十毫秒。于是，觸覺開始重新進入它們的視野，并被嘗試引入 Transformer 和 VLA 框架，希望讓機器人擁有類似人類指尖的反饋能力。

但當研究者們嘗試把觸覺傳感器接入系統時，一個尷尬的結果發生了：模型不僅沒能學會更好的操作，反而更容易出現抓取失誤、動作猶豫甚至任務失敗。很多時候，觸覺不如不加。

這個奇怪的現象引起了一支超級團隊的注意。最近，來自 UC Berkeley、NVIDIA、斯坦福、松下等機構的研究者，其中包括斯坦福教授李飛飛、英偉達具身智能負責人 Jim Fan、佐治亞理工學院助理教授徐丹飛、Pieter Abbeel、Jitendra Malik、Ken Goldberg、Trevor Darrell 等多位知名學者，聯合發表了一篇題為“T-Rex: Tactile-Reactive Dexterous Manipulation”的論文，分析當前觸覺融合方案的根本缺陷，并提出了一套全新的架構——T-Rex 來解決這個問題。

（來源：T-Rex）

加了觸覺，反而更差了？

目前最強的機器人操作策略大多基于視覺-語言-動作模型（VLA），其核心是一個大型 Transformer 骨干網絡。當研究者引入觸覺時，最自然的做法就是把觸覺信號編碼成 token，和視覺、語言 token 一起喂進同一個 Transformer。這也是大多數現有工作采用的路線。

增加一種新的感知模態，按理說應該讓機器人擁有更精準的操作能力。然而，論文中的實驗卻得出了相反的結果：在相同的實驗平臺和任務設置下，將觸覺力信號直接拼接到預訓練好的 π0.5 模型中，任務成功率從 17% 驟降至 6%。也就是說，加入觸覺后，模型不僅沒有表現得更好，反而更容易失敗。

為什么會這樣？論文指出，核心矛盾在于頻率不匹配。視覺信號的更新頻率通常在 5Hz 左右，而觸覺反饋天然需要在 20Hz 甚至更高的頻率下才能發揮作用。人在捏一個雞蛋時，手指對力度的微調是毫秒級的。把這兩種時間尺度完全不同的信號塞進同一個以低頻運行的 Transformer，不僅無法發揮觸覺的優勢，反而會干擾視覺模態已經學好的表征，造成性能退化。

換句話說，過去的做法不是"加了觸覺沒用"，而是"加的方式不對"。

T-Rex 的核心創新，就是改變觸覺輸入的方式。把觸覺從"另一種輸入模態"重新定義為"另一條獨立的控制通路"。

它采用了一種混合 Transformer 專家架構（Mixture-of-Transformer-Experts，MoT），將整個系統拆分為三個專家模塊，各司其職：

（來源：T-Rex）

第一個是潛在專家（Latent Expert），負責處理視覺和語言觀測，預測未來的視覺表征，為后續動作提供語義上下文。可以把它理解為"看清楚當前場景并預判接下來會發生什么"的模塊。

第二個是動作專家（Action Expert），以大約 5Hz 的低頻運行，負責粗粒度的動作規劃。它采用條件流匹配（Flow Matching）的方式，從純噪聲出發逐步去噪，生成一個中間狀態的動作方案——相當于先畫一個草圖。

第三個也是最關鍵的，是觸覺專家（Tactile Expert）。它以大約 20Hz 的高頻運行，接收實時觸覺信號，在動作專家產出的"草圖"基礎上進行快速修正。它不需要重新處理視覺和語言信息，而是直接復用前兩個專家緩存的上下文，只關注觸覺帶來的即時反饋。

這種設計的精妙之處在于：視覺和觸覺不再爭搶同一個 Transformer 的注意力資源，而是在各自最合適的頻率上獨立運作，再通過級聯去噪的方式協同配合。動作專家完成 10 步去噪中的前 6 步，輸出一個部分去噪的動作；觸覺專家接過來，用最新的觸覺數據完成剩下的 4 步，輸出最終可執行的動作。

一套新的觸覺編碼方式

除了架構創新，T-Rex 在觸覺信號的編碼和數據上也下了功夫。

論文提出了一種時空觸覺編碼器（Spatial-Temporal Tactile Encoder），同時捕捉兩種互補的觸覺信息：一是力的時間動態——通過一個 VQ-VAE（向量量化變分自編碼器）將每根手指過去 16 幀的六維力向量壓縮為一個緊湊的離散 token，既能捕捉力的變化趨勢，又能有效抵抗傳感器漂移；二是形變的空間分布——通過一個輕量級卷積網絡提取指尖形變圖的特征，捕捉接觸面的邊緣、滑移和剪切模式。

兩種信號拼接后，構成觸覺專家的完整輸入。這種編碼方式既保留了觸覺的豐富信息，又將其壓縮到了 Transformer 能高效處理的規模。

數據方面，團隊構建了 T-Rex 數據集。其中包含 100 小時的雙臂靈巧手遙操作數據，覆蓋超過 200 種日常物品和 22 種運動基元（如抓取、擠壓、插入、擦拭、折疊等），包含 7,700 余條軌跡。每條軌跡都同步記錄了 RGB 圖像、機器人狀態、動作指令、觸覺力信號和形變圖。

圖｜T-Rex 數據集圍繞“動作 × 物體”組合構建（來源：T-Rex）

與以往針對特定任務錄制數據不同，T-Rex 數據集的設計思路是圍繞"動詞-名詞"組合來組織。用 22 個動作原語搭配 200 多種物品，通過組合覆蓋盡可能多樣的接觸行為。這種方式使得模型能夠學到通用的觸覺-動作對應關系，而非記憶特定任務的模式。

訓練采用三階段策略。第一階段是大規模人類視頻預訓練：基于 EgoScale 的方案，在 22,889 小時的第一人稱人類視頻上預訓練潛在專家和動作專家，獲取廣泛的視覺運動先驗。第二階段是觸覺中間訓練（mid-training）：在 100 小時的 T-Rex 數據集上，將動作專家適配到機器人平臺，同時訓練觸覺專家。第三階段是技能微調（post-training）：對特定任務使用約 100 條示范進行微調。

這種漸進式訓練的好處在于：觸覺能力不需要從頭學，而是在視覺運動先驗已經建立之后，以相對較少的數據"嫁接"進來。

12 項任務，平均領先 30 個百分點

對于 T-Rex 的最終效果，論文在 12 項需要精細力控和接觸感知的真實世界任務上進行了評估。這些任務包括翻書頁、轉移雞蛋、擦盤子、擠牙膏、分紙杯、分揀麻將、開鎖、填藥盒、酸堿中和滴定、抽卡片、發撲克牌和擰燈泡。每一個都需要機器人對接觸力進行動態調節。

結果顯示，T-Rex 在所有任務上均取得了最高的成功率，平均達到 65%，比最強基線 EgoScale 的 35% 高出了 30 個百分點。在翻書頁、轉移雞蛋、分紙杯等任務上，T-Rex 分別達到了 96%、75%、78% 的成功率。

圖｜12 項真實世界靈巧操作任務評測結果（來源：T-Rex）

消融實驗進一步證實了幾個關鍵結論。去掉所有觸覺輸入后，平均成功率從 65% 降至 42%，下降了 23 個百分點，說明觸覺信號確實至關重要。去掉異步執行機制（讓觸覺專家和動作專家以相同頻率同步運行），性能下降 5 個百分點，驗證了頻率解耦的必要性。而在數據效率方面，經過觸覺中間訓練的模型在僅使用 10 條任務示范時就能達到可用水平，遠優于未經中間訓練的版本。

回過頭看，T-Rex 的成功主要來自幾個相互配合的設計。

首先是頻率解耦。視覺以約 5 Hz 的頻率運行，負責理解場景；觸覺則以約 20 Hz 的頻率持續更新，負責感知接觸后的細微變化，兩者互不干擾。這不僅更符合人類處理視覺和觸覺的方式，也避免了高頻觸覺信號被低頻模型“淹沒”，難以發揮作用。

其次是分工明確。動作專家先規劃整體動作，相當于先確定“大方向”；觸覺專家再根據實時觸覺反饋，對動作進行快速微調。這樣一來，視覺負責“決定做什么”，觸覺負責“決定怎么做得更準”，兩者各自發揮優勢。

第三是計算上的優化。觸覺專家不需要每次都重新處理視覺和語言信息，而是直接利用動作專家已經計算好的結果，只專注于處理最新的觸覺反饋。這既減少了計算量，也讓觸覺能夠以 20 Hz 的頻率實時運行，真正跟上機器人操作時的節奏。

局限與未來方向

不過，在結尾部分論文也坦承了當前的局限。對于需要更長時間、更高精度協調的任務，比如那些遙操作本身就很困難的場景。純粹的行為克隆仍然受限于示范數據的分布，未來可能需要引入強化學習或在線交互來突破瓶頸。

硬件層面，觸覺傳感器本身的局限也是瓶頸：傳感器漂移、設備間的標定差異、以及目前僅限于指尖而非全手掌的感知覆蓋，都限制了系統的上限。論文建議未來探索跨異構傳感器的統一表征，以及覆蓋整個手掌的更密集觸覺硬件。

T-Rex 這篇工作給出的核心啟示或許可以用一句話概括：觸覺不應該被當作視覺的附庸，而應該被當作一個獨立的控制回路。

過去幾年，機器人學習領域習慣了"萬物皆 token"的思路——把所有模態統一編碼、扔進同一個大模型。這個范式在視覺和語言上取得了巨大成功，但當觸覺這種天然高頻、需要即時響應的信號加入時，統一架構的弊端就暴露了出來。T-Rex 的 MoT 架構提供了一種更尊重信號物理特性的融合方式，也為未來多模態機器人系統的設計提供了新的思路。

論文鏈接：https://arxiv.org/abs/2606.17055

項目主頁：https://tactile-rex.github.io/

運營/排版：何晨龍

注：封面/首圖由 AI 輔助生成