235B參數也沒用！港中文等發(fā)布7模態(tài)數據集，專測頂級VLM的感知盲區(qū)

新智元報道

【新智元導讀】當下的多模態(tài)大模型，在Demo里能對著照片侃侃而談，可一旦離開RGB畫面，面對熱成像、深度、毫米波這些真實世界里隨處可見的信號，就集體「失明」。港中文AIoT 實驗室聯(lián)合UIUC、哥倫比亞大學與匹茲堡大學，用一個包含64,267個七模態(tài)同步樣本的數據集CUHK-X，第一次系統(tǒng)地把這條「看得見卻讀不懂」的能力斷崖量化了出來。最扎心的結論是，把模型參數堆到235B，照樣救不回來。該工作已被ACM MobiSys 2026錄用。

過去兩年，VLM（視覺語言模型）的進步幾乎都寫在RGB圖像上。給它一張照片，它能描述、能問答、能推理，看上去無所不能。

但把它放進真實的居家、養(yǎng)老或醫(yī)療場景，故事立刻變了樣。夜里光線不足、被家具遮擋、出于隱私不能上攝像頭，這些恰恰是日常監(jiān)測最常見的工況，也恰恰是RGB最不擅長的地方。真正要扛事的，是熱成像、深度、毫米波雷達、IMU這些非RGB模態(tài)。

問題在于，模型在這些模態(tài)上的表現，和它在RGB上的光鮮形成了刺眼的反差。根子也很清楚，訓練和評測它們的數據長期是缺的。現有的人類活動識別（HAR）數據集絕大多數只給到粗粒度的 ?數據, 標簽?，比如一條「跌倒」、一條「睡覺」，既沒有連貫的語義描述，也不覆蓋多模態(tài)。模型自然學不會「看懂」，更談不上「讀懂」。

三個能力臺階

要把這件事講清楚，得先把「看懂人」拆成三個遞進的臺階。

第一階是識別（HAR），回答「這是什么動作」，本質是分類。

第二階是理解（HAU），要求模型用自然語言描述一段活動序列，并判斷當時的情境狀態(tài)，比如是放松、平靜還是匆忙。

第三階是推理（HARn），在看完前序動作后，推斷行為意圖并預測下一步最可能發(fā)生什么。

舉個例子。看到一個人「洗臉、刷牙、梳頭」，識別只需要逐個貼標簽；理解要能把它串成「一段晨間洗漱」；而推理則要據此判斷「接下來他大概率要出門」。越往上走，越考驗模型對上下文和因果的把握，也越接近智慧醫(yī)療、居家養(yǎng)老真正需要的能力。例如在阿爾茨海默病照護中，對日常行為的連續(xù)理解與預判，正是及時干預的關鍵依據。

圖1　CUHK-X 在多房間真實家居環(huán)境中同步采集七種傳感模態(tài)，并面向識別（HAR）、理解（HAU）與推理（HARn）三類任務統(tǒng)一建模。

CUHK-X

先有「真值」再采數據

針對這條斷崖，CUHK-X 給出的答案是一個面向HAR、HAU、HARn三類任務的大規(guī)模多模態(tài)數據集與基準。它包含64,267個活動樣本，覆蓋7種同步模態(tài)、40種日常動作和30名參與者。

論文鏈接：https://arxiv.org/abs/2512.07136

項目主頁　https://openaiotlab.github.io/CUHK-X/

代碼鏈接　https://github.com/openaiotlab/CUHK-X

更關鍵的是它「反著來」的采集邏輯。一種偷懶的做法是把若干單模態(tài)數據集的粗標簽拼到一起，再讓LLM自動編描述。但這樣極易制造時空矛盾，比如把「刷牙」和「吃飯」硬塞進同一個場景，可兩者本就發(fā)生在不同房間、不同時段，邏輯上根本說不通。

CUHK-X反其道而行，采用了「先有真值」（Ground-Truth-First）的策略。它先用LLM把同類或跨類動作邏輯串聯(lián)成連貫的生活場景描述（如把洗臉、刷牙、梳頭、擦手、穿衣組織成完整的晨間場景），再對描述做語言風格擴展，并經四位研究生級標注員按物理可行性、場景一致性、時間因果與常識約束四個維度人工把關，最后才讓參與者理解描述、自然表演，按描述去采真實數據。如此得到的 ?數據, 描述? 配對，天然時空對齊、語義連貫。

圖2　CUHK-X的數據生產鏈路，從動作篩選、場景化描述生成到按描述采集多模態(tài)數據，最終匯成三大基準。

在兩個真實室內環(huán)境（客廳、廚房、臥室、浴室四類場景）中，CUHK-X用一套精心設計的傳感器陣列同步記錄七種模態(tài)。環(huán)境側包括Goermicro Vzense NYX 650相機（同時輸出RGB、深度、紅外）、德州儀器IWR6843ISK毫米波雷達（60–64 GHz）和海康TB4117熱成像相機（120×160）；可穿戴側是五個 WitMotion WT9011DCL-BT50 IMU，分別戴在雙手腕、雙腳踝和腰部；骨架數據則由MMPose從RGB與深度幀估計出17個3D關節(jié)點。30名參與者中男女比例為40%比60%，年齡20–23歲。據作者介紹，這是首個同時覆蓋RGB、深度、熱成像、紅外、骨架、IMU、毫米波雷達七種模態(tài)、并配有豐富文本描述的大規(guī)模活動數據集。

圖 3　環(huán)境側傳感器與可穿戴 IMU 的部署方案。

圖 4　同一組日常活動在七種模態(tài)下的同步可視化，直觀體現各模態(tài)的信息密度差異。

圖 5　CUHK-X 數據規(guī)模與類別分布概覽。

三大基準六項任務

數據之外，CUHK-X 真正的殺傷力在于它的評測設計，六項任務幾乎每一項都是沖著逼出模型短板去的。

HAR 基準下設 1 項任務，即 40類動作分類，檢驗各模態(tài)對識別模型的支撐力。HAU 基準下設 4 項任務，分別是描述比較（看模型生成的描述和真值語義有多接近）、上下文分析（判斷動作執(zhí)行時的情境狀態(tài)）、動作序列重排（把打亂的動作還原成正確時序）和動作選擇（從 40 個候選里挑出視頻里真正發(fā)生的）。HARn 基準下設 1 項任務，即基于前序動作預測下一個最可能的動作，直擊意圖推理與因果推斷。

被拉上測試臺的，是 InternVL2.5-2B/8B、QwenVL2.5-3B/7B、VideoLLaVA-7B、VideoChatR1-7B 等一線 VLM；HAR 任務上還加入了 ResNet-50、PointNet、MotionBERT 等模態(tài)專用模型。為了看清「規(guī)模紅利」，研究還額外評測了 Qwen-35B、QwenVL3-235B 和 Doubao-seed-2.0 等更大體量的模型。

四個反直覺的發(fā)現

跑完全套評測，CUHK-X 給出了幾條相當扎心的結論。

發(fā)現一，模態(tài)之間存在明顯的「鄙視鏈」，但弱模態(tài)并非沒用。HAR 七模態(tài)平均識別準確率為 76.52%，視覺模態(tài)一騎絕塵：熱成像拿到 92.57% 準確率、93.36% F1，RGB 與深度的 F1 分別為 91.28% 和 90.93%，骨架也有 79.08% 準確率。而 IMU 與毫米波雷達的獨立準確率只有 45.52% 和 46.63%。判別力天然偏弱，但正是這兩類模態(tài)，在遮擋、弱光和隱私敏感場景里提供著視覺模態(tài)給不了的互補價值。

發(fā)現二，參數越大不一定越強。模型規(guī)模實驗顯示，單純堆參數并不能在所有任務和模態(tài)上普漲。最典型的是 QwenVL3-235B，在深度上下文分析任務上不升反降，從 0.422 直接掉到 0.286。即便是整體最強的 Doubao-seed-2.0，在同一任務上也只做到 0.552。換句話說，CUHK-X 拋出的難題，遠沒有被現有大模型解決。

發(fā)現三，會「推理」的模型，明顯打得過會「描述」的模型。在 HARn 基準上，三種視覺模態(tài)的平均推理準確率達到 70.25%（最高 90.30%），其中 VideoChatR1-7B 這類推理模型顯著領先于描述模型。前者能借助上下文理解和邏輯推斷，把已觀察到的動作和最可能的下一步關聯(lián)起來；后者則常常被表面視覺線索帶偏。

發(fā)現四，沒有「全能選手」。在動作序列重排和動作選擇這類任務上，呈現出強烈的模型-模態(tài)交互效應，沒有任何單一模型能在所有模態(tài)上通吃。HAU 四項子任務的平均準確率只有 40.76%（最高也才 50.52%），描述比較任務上 VideoLLaVA-7B 拿到最佳 BERTScore F1（86.40%），但換一個模態(tài)、換一項任務，領先者又會易主。這種「測不出一個穩(wěn)定贏家」的狀態(tài)，恰恰說明了基準本身的區(qū)分度和挑戰(zhàn)性。

對具身智能意味著什么

把這些發(fā)現拼起來，CUHK-X 其實是給整個具身智能社區(qū)提了個醒。當下 VLM 的強，很大程度上是「RGB 之強」；一旦進入真實物理世界那些繞不開的非 RGB 模態(tài)和復雜時序推理，能力短板就暴露無遺。而要補上這塊短板，光靠把模型做大顯然不夠，得從數據和評測的根上重建。

按作者的規(guī)劃，CUHK-X 接下來會沿兩條線擴展。一是引入參與者間的交互和更長時間跨度的多步驟活動，提升行為復雜度；二是補充音頻、觸覺、心率、腦電等信號模態(tài)，并覆蓋更多室內環(huán)境與更廣年齡、運動能力的人群，增強泛化性與生態(tài)效度。同時，它也會作為標準化教學資源，支撐傳感器融合、數據標注與多模態(tài)推理等方向的研究與教學。

對于一個想要真正「讀懂人」的智能體來說，這塊拼圖，才剛剛開始拼。

論文信息

論文第一作者為香港中文大學博士生蔣思陽，香港中文大學博士后袁牧和香港中文大學博士生紀祥等共同參與。指導導師邢國良教授為 ACM、IEEE 會士，擔任 CUHK AIoT 實驗室主任，曾獲美國 NSF CAREER Award 與香港中文大學杰出研究獎；共同通訊作者為邢國良教授與陳鴻凱研究助理教授（香港中文大學）。該工作由香港中文大學聯(lián)合伊利諾伊大學厄巴納-香檳分校、哥倫比亞大學與匹茲堡大學共同完成。

參考資料：

https://arxiv.org/abs/2512.07136

編輯：LRST