98年哈工大教授帶隊，破曉智能要把觸覺寫進(jìn)機(jī)器人基礎(chǔ)模型

機(jī)器人伸出食指，按向噴壺上的扳機(jī)。鏡頭里，指尖已經(jīng)貼上去了，機(jī)器人也 “認(rèn)為” 自己完成了動作，但水沒有噴出來。

從畫面上看，似乎一切都對。但問題在于，指尖只是碰到了按鈕，卻沒有真正把它壓下去。對攝像頭來說，“手指貼在按鈕上” 和 “按鈕已經(jīng)被按下”，可能幾乎是同一幅畫面；觸覺卻能直接告訴機(jī)器人：有沒有接觸、壓在了哪里、力到底夠不夠。

瞄準(zhǔn)這類 “看起來做對了，物理上卻沒完成” 的失敗。破曉智能（PHANES AI）創(chuàng)始人、哈工大（深圳）長聘教授楊朔及其團(tuán)隊發(fā)布了最新論文 TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation。

TouchWorld 讓觸覺同時承擔(dān)兩種角色：行動前，預(yù)測 “應(yīng)該碰成什么樣”；接觸后，再根據(jù)真實反饋快速糾錯。

在澆花、桌面清理、電源插頭插入、杯子插入、擦鍋、抽紙巾六項真機(jī)任務(wù)中，TouchWorld 在無額外干擾的場景下取得 65.0% 的平均成功率；加入目標(biāo)移動、抓握干擾等人為擾動后，成功率為 57.2%，分別超過最強(qiáng)基線 15.7 和 16.0 個百分點。每項任務(wù)采集了 200 條遙操作訓(xùn)練軌跡，并進(jìn)行了 100 次真機(jī)評測。

這項工作背后的楊朔，也是破曉智能（PHANES AI）創(chuàng)始人。

楊朔，破曉智能（PHANES AI）創(chuàng)始人、哈工大（深圳）長聘教授、博導(dǎo)

楊朔曾獲 Google PhD Fellowship，是當(dāng)屆全球 9 位獲獎?wù)咧唬徊┦侩A段的工作入選 ICLR Best Paper Finalist，26歲回國任哈工大（深圳）長聘教授、博導(dǎo)，同年獲評國家級青年人才。目前，他已經(jīng)創(chuàng)立破曉智能，組建起一支數(shù)十人規(guī)模、覆蓋數(shù)據(jù)、模型、機(jī)器人控制與硬件系統(tǒng)的具身智能團(tuán)隊。

TouchWorld 不是一次偶然的 “論文突襲”。

它背后，是楊朔團(tuán)隊從人類數(shù)據(jù)、觸覺建模，一路推演到機(jī)器人靈巧操作的一整條技術(shù)路線；也是破曉智能第一次把這條路線較完整地擺到臺前。

觸覺既要 “預(yù)判”，也要 “反應(yīng)”

TouchWorld 標(biāo)題里最關(guān)鍵的兩個詞，是PredictiveReactive。一個負(fù)責(zé)預(yù)判。一個負(fù)責(zé)糾錯。

所謂 Predictive，是讓機(jī)器人在真正開始動作前，先預(yù)測：當(dāng)這個子任務(wù)完成時，畫面應(yīng)該是什么樣，手上的壓力又應(yīng)該是什么樣。

TouchWorld 會多做一步。

當(dāng)任務(wù)進(jìn)行到 “按下噴壺扳機(jī)” 時，模型不僅預(yù)測一張未來畫面，還會同時預(yù)測一張未來觸覺圖：具體是哪根手指應(yīng)該產(chǎn)生壓力，壓力應(yīng)該出現(xiàn)在指尖還是掌側(cè)，接觸強(qiáng)度大致應(yīng)該達(dá)到什么狀態(tài)。

這張觸覺圖，相當(dāng)于給機(jī)器人設(shè)定了一個物理世界里的目標(biāo)。

畫面對了，不算完成。手指真正壓出了預(yù)期的接觸，才算完成。

這就是 TouchWorld 的預(yù)測能力：它讓機(jī)器人提前知道，自己應(yīng)該 “碰成什么樣”。

不過，在現(xiàn)實環(huán)境里，知道目標(biāo)還不夠。

杯子可能比訓(xùn)練時放偏了幾厘米；插頭接觸插座后可能稍微傾斜；靈巧手長時間運行后，關(guān)節(jié)可能因為發(fā)熱、松動而出現(xiàn)誤差；甚至在機(jī)器人執(zhí)行過程中，人還會突然碰一下它的手，或者把目標(biāo)物體挪走。

這時，如果每發(fā)生一點變化，都讓上層大模型重新觀察、重新推理、重新生成一整段動作，速度會太慢。

于是，TouchWorld 增加了 Reactive 路徑。當(dāng)機(jī)器人真正接觸物體后，系統(tǒng)會持續(xù)讀取最近的觸覺信號和關(guān)節(jié)狀態(tài)，在原本動作上疊加細(xì)小修正：手指往左偏一點，握力再加一點，手腕角度微調(diào)一點。

上層策略負(fù)責(zé)決定 “往哪走”。觸覺反饋負(fù)責(zé)保證 “碰到之后別走偏”。

這很像人去拿一個濕滑的玻璃杯。大腦會規(guī)劃手伸向哪里、用什么姿勢抓住它；但真正碰到杯壁后，手指感受到杯子要滑，握力會立即調(diào)整。這個過程不需要人停下來重新思考一遍 “如何拿杯子”。

TouchWorld 做的，正是把這兩種能力分開。

觸覺不是只在失敗后提醒機(jī)器人 “你碰錯了”，而是同時參與行動前的目標(biāo)預(yù)測，并在行動中的快速糾錯。

TouchWorld 通過觸覺世界模型預(yù)測機(jī)器人任務(wù)子目標(biāo)。

為什么一個 VLA “吃不下” 觸覺

按照常見思路，VLA 已經(jīng)容納了視覺、語言和動作，再加一份觸覺數(shù)據(jù)似乎順理成章。

但楊朔團(tuán)隊發(fā)現(xiàn)，觸覺并不是一塊可以直接拼進(jìn)模型的 “新積木”。它和視覺的信息密度、出現(xiàn)時機(jī)與處理速度都完全不同。硬塞進(jìn)同一個模型，結(jié)果很可能不是 VLA 學(xué)會觸覺，而是觸覺被視覺淹沒。

觸覺首先太稀疏：一個兩分鐘任務(wù)里，真正接觸可能只有十幾秒；圖像是百萬級像素，單手觸覺卻只有幾百維。若與視覺、語言同頻訓(xùn)練，模型很容易只靠視覺 “偷懶”。

更重要的是，任務(wù)規(guī)劃、動作生成和接觸糾錯，本就不該共用一個時鐘。因此，TouchWorld 沒有繼續(xù)做一個 “什么都管” 的統(tǒng)一模型，而是把系統(tǒng)拆成三個層級。

TouchWorld 因此將系統(tǒng)拆成三個時間尺度：1Hz 的高層負(fù)責(zé)拆解任務(wù)并預(yù)測視覺 — 觸覺目標(biāo)；10Hz 的中層根據(jù)目標(biāo)生成主體動作；30Hz 的觸覺反應(yīng)層則根據(jù)實時接觸和關(guān)節(jié)狀態(tài)持續(xù)修正動作。慢規(guī)劃、中速執(zhí)行、快速糾偏，三層分別處理最適合自己的問題。

慢規(guī)劃、中速執(zhí)行、快速糾偏，三層分別處理不同時間尺度的問題。

TouchWorld 三層架構(gòu)：高層規(guī)劃并預(yù)測目標(biāo)，中層生成動作，高頻觸覺反饋實時糾偏。

消融實驗也證明，這種分層并非多此一舉。完整 TouchWorld 在無擾動和人為擾動場景中的平均成功率分別為 65.0% 和 57.2%。拿掉觸覺輸入后，成功率降至 43.3% 和 30.0%；拿掉 30Hz 觸覺修正層后，則降至 55.3% 和 40.3%，在目標(biāo)移動或抓握受擾時尤其明顯。

去掉 Tactile World Model，成功率降至 60.2% 和 51.2%；去掉子任務(wù)規(guī)劃模塊，則降至 55.5% 和 46.2%。

論文還有一個有意思的結(jié)果：經(jīng)過任務(wù)階段監(jiān)督和記憶增強(qiáng)的 4B 子任務(wù)規(guī)劃模型，準(zhǔn)確率達(dá)到 91%，反而超過零樣本 32B 模型的 84%。

這說明，在層級系統(tǒng)里，單純把模型做大未必最有效。讓模型知道任務(wù)進(jìn)行到哪一步、之前做過什么，以及下一步是否能被下游策略執(zhí)行，可能更加重要。

65% 的成功率當(dāng)然還談不上解決靈巧操作，但它至少證明：相比把觸覺簡單塞進(jìn)統(tǒng)一策略，明確分開 “預(yù)測接觸” 和 “根據(jù)接觸快速反應(yīng)”，確實更有效。

觸覺從哪來，又怎么真正用起來

TouchWorld 不是從零開始的。早在這之前，楊朔團(tuán)隊就在圍繞同一個問題往前推進(jìn)：機(jī)器人要學(xué)會觸覺，首先得有觸覺數(shù)據(jù)；但真實的觸覺數(shù)據(jù)太少，又該怎么把它規(guī)模化？

Touch 系列由此產(chǎn)生。團(tuán)隊先用 EgoTouch 把人類操作中的第一人稱畫面、手部姿態(tài)和雙手壓力同步采下來；隨后又通過 TouchAnything 學(xué)習(xí)視覺與觸覺之間的對應(yīng)關(guān)系，讓模型有機(jī)會從普通視頻中推測接觸位置和壓力分布。

到了 TouchWorld，觸覺終于從 “被采集、被預(yù)測”，走到了 “真正被機(jī)器人使用”：行動前，它用來預(yù)測應(yīng)該形成怎樣的接觸；行動中，它又成為實時糾錯的反饋信號。

這條路線的邏輯很清楚：EgoTouch 負(fù)責(zé)采，TouchAnything 負(fù)責(zé)從視頻中恢復(fù)，TouchWorld 負(fù)責(zé)讓機(jī)器人真正用上。

在解決 “觸覺數(shù)據(jù)從哪里來” 之前，楊朔和他的團(tuán)隊就意識到，如今互聯(lián)網(wǎng)上并不缺人類操作視頻：擰瓶蓋、切菜、拿杯子、使用工具，這些動作每天都在被相機(jī)記錄下來。

但普通視頻只能拍到手怎么移動、物體怎么變化，看不到手與物體接觸時，掌心和指尖究竟承受了多大的壓力。

為此，團(tuán)隊搭建了一套穿戴式采集系統(tǒng)：采集者頭部佩戴第一人稱相機(jī)，左右手腕各安裝一臺近距離相機(jī)，同時佩戴雙手姿態(tài)追蹤設(shè)備和密集觸覺手套。一次操作會被同步記錄成多路 RGB 視頻、雙手 3D 姿態(tài)，以及左右手的連續(xù)壓力分布。

EgoTouch 第一人稱視覺 - 觸覺數(shù)據(jù)采集系統(tǒng)。

最終形成的 EgoTouch 覆蓋了 208 項操作任務(wù)、1891 段交互、超過 20 小時視頻、約 210 萬幀數(shù)據(jù)和 1000 余個物體，場景橫跨家庭、辦公室、工作臺、零售和戶外環(huán)境。

而 TouchAnything 的意義，并非宣布攝像頭從此可以完全替代觸覺傳感器。真正執(zhí)行精細(xì)操作時，機(jī)器人仍然需要實時、可靠的觸覺硬件。它更像是在解決一個規(guī)模化問題：先用有限的真實觸覺數(shù)據(jù)教會模型視覺與觸覺的對應(yīng)關(guān)系，再為大量原本沒有觸覺標(biāo)注的人類視頻補(bǔ)充觸覺監(jiān)督提供可能。

TouchAnything 多視角觸覺預(yù)測模型架構(gòu)。模型輸入頭戴第一人稱視角、左右腕部視角和雙手 3D 姿態(tài)，通過多視角視覺特征融合與姿態(tài)感知融合，預(yù)測雙手壓力分布圖，從而從純視覺視頻中恢復(fù)觸覺信息。

但能夠 “猜到人手可能感受到了什么”，還不等于機(jī)器人會使用這些信息。

這也讓 TouchWorld 的出現(xiàn)變得順理成章。

TouchWorld 中的觸覺世界模型，先在 20.2 小時 EgoTouch 人類交互數(shù)據(jù)上預(yù)訓(xùn)練，再使用 10 小時機(jī)器人演示數(shù)據(jù)進(jìn)行微調(diào)。前者讓模型接觸更多樣的人類操作和接觸模式，后者則把這些先驗適配到具體的機(jī)器人靈巧手、觸覺傳感器和動作空間。

至此，整條技術(shù)路線才真正閉合：

EgoTouch 回答的是觸覺數(shù)據(jù)怎么采；TouchAnything 回答的是沒有傳感器標(biāo)注的視頻，能不能恢復(fù)出觸覺；TouchWorld 回答的則是機(jī)器人如何根據(jù)觸覺預(yù)測目標(biāo)、生成動作，并在真實接觸中完成糾偏。

從記錄人類怎么觸碰世界，到讓機(jī)器人學(xué)會真正 “碰對”，楊朔團(tuán)隊用了兩篇論文，把三個環(huán)節(jié)一步步接了起來。

沒有現(xiàn)成答案，破曉智能要做一項全棧工程

把 TouchAnything 和 TouchWorld 連起來看，破曉智能的定位才真正清晰：它不是一家單純做觸覺手套的公司，也不是一家只提供人類數(shù)據(jù)的公司。

在楊朔看來，數(shù)據(jù)采集設(shè)備、觸覺硬件和機(jī)器人平臺都是手段，最終都要服務(wù)于同一個目標(biāo) —— 訓(xùn)練和迭代能夠遷移到真實機(jī)器人上的基礎(chǔ)模型。

破曉智能的技術(shù)路線延續(xù)了楊朔過去對 Data-Centric AI 的研究思路。在進(jìn)入具身智能之前，他長期關(guān)注數(shù)據(jù)質(zhì)量、噪聲處理和訓(xùn)練效率；到了機(jī)器人領(lǐng)域，他首先追問的依然不是 “模型還可以怎么改”，而是 “什么樣的數(shù)據(jù)路線，才可能支撐能力持續(xù)擴(kuò)展”。

如果說 TouchWorld 解決的是機(jī)器人怎么 “把手碰對”，破曉智能進(jìn)一步瞄準(zhǔn)的是 “整個身體如何移動到位，再把事情做對”。

為此，破曉智能也正在推進(jìn)更完整的人類數(shù)據(jù)采集方案。除了第一人稱頭環(huán)和觸覺手套，還包括腰帶與腳踝柔性綁帶：頭環(huán)記錄人看見什么，手套記錄手如何接觸物體，腰帶和腳踝設(shè)備則捕捉移動、轉(zhuǎn)身、彎腰、下蹲和踮腳等全身動作。

真實的人類操作，很少只發(fā)生在一張固定桌子前。做家務(wù)需要在房間中移動，取高處物品需要踮腳，整理地面物品需要下蹲，搬運時還要處理平衡、移動和雙手協(xié)同。破曉智能希望學(xué)習(xí)的，不只是 “手怎么抓”，而是人如何在真實空間中移動到合適的位置，再完成接觸密集的操作。

但 TouchWorld 并非建立在一套現(xiàn)成、穩(wěn)定的軟硬件平臺之上。觸覺數(shù)據(jù)不足，手套存在噪聲、漂移和批次差異，高自由度、全掌觸覺且足夠穩(wěn)定的靈巧手也很難直接買到。

楊朔團(tuán)隊的工程化能力，讓 TouchWorld 不只停留在模型設(shè)想，而是真正走到了完整系統(tǒng)和真機(jī)驗證。市場上沒有現(xiàn)成方案，團(tuán)隊就自己改硬件、搭數(shù)據(jù)管線、訓(xùn)練模型、跑控制閉環(huán)；評測體系也需要重新設(shè)計任務(wù)、采集數(shù)據(jù)、設(shè)置標(biāo)準(zhǔn)和擾動場景，再反復(fù)進(jìn)行真機(jī)測試。

TouchWorld 在澆花、抽紙巾等六項真實機(jī)器人任務(wù)中完成測試。

這也意味著，破曉智能真正要搭建的不是一個單點模型，而是一整套全棧能力：從人類數(shù)據(jù)采集和觸覺數(shù)據(jù)清洗，到視覺 — 觸覺對齊、世界模型訓(xùn)練、靈巧手遙操作、真機(jī)策略部署，再到傳感器適配和統(tǒng)一評測環(huán)境。

目前團(tuán)隊成員已經(jīng)能夠覆蓋機(jī)械設(shè)計、嵌入式開發(fā)、數(shù)據(jù)基礎(chǔ)設(shè)施、世界模型訓(xùn)練和真機(jī)部署等多個環(huán)節(jié)。這是破曉智能敢于把目標(biāo)指向全身移動靈巧操作的底氣，也構(gòu)成了它相比單一模型方案更完整的技術(shù)壁壘。

單個模型架構(gòu)可以被追趕，真正難復(fù)制的，是數(shù)據(jù)、硬件、模型和評測體系共同形成的閉環(huán)。

接下來，團(tuán)隊計劃逐步開源 EgoTouch、TouchAnything 和 TouchWorld 相關(guān)的數(shù)據(jù)、代碼與模型，并繼續(xù)推進(jìn)五指靈巧手、觸覺世界模型和全身移動操作方向的研發(fā)。

視覺讓機(jī)器人知道世界長什么樣，觸覺讓機(jī)器人確認(rèn)自己是否真的改變了世界。

而破曉智能想做的，是讓這種能力不再停留在一組傳感器讀數(shù)里，而是成為機(jī)器人基礎(chǔ)模型的一部分。

TouchWorld

• 論文：https://arxiv.org/abs/2607.07287
• tech blog:https://phanes-lab.github.io/TouchWorld-website/

TouchAnything

• 論文：https://arxiv.org/abs/2605.13083
• 官方項目主頁：https://jianyi2004.github.io/TouchAnything-Website/