直面模態缺失挑戰：北大彭宇新團隊聯合福大柯逍團隊提出LIMSSR

本文是北京大學彭宇新教授團隊聯合福州大學柯逍教授團隊在細粒度多模態動作質量評價領域的最新研究成果，相關論文已被 ICML 2026 接收為 Spotlight，并已開源。

• 論文標題：LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations
• 論文鏈接：https://arxiv.org/abs/2605.00434
• 開源代碼：https://github.com/XuHuangbiao/LIMSSR
• 實驗室網址：https://www.wict.pku.edu.cn/mipl
• 實驗室公眾號：MIPLatPKU

1. 背景與動機

真實世界中的多模態數據往往并不完整。在動作質量評價任務中，視頻、光流、音頻等模態能夠從不同角度描述動作執行過程，但在實際采集時，傳感器故障、環境噪聲、隱私限制等因素都會導致模態缺失。如圖 1 所示，現有不完整多模態方法雖然能夠在測試階段處理缺失模態，但大多默認訓練階段擁有完整模態數據，再利用重建、蒸餾或聯合先驗來彌補缺失信息。

圖 1. 背景與動機

這類方法本質上依賴一種 “全量數據先驗”：訓練時先看過完整答案，測試時再學習如何應對不完整輸入。然而在真實應用中，訓練數據本身也可能存在系統性缺失。這樣一來，模型既無法獲得高質量的重建監督，也無法依賴完整模態提供的先驗知識。對于動作質量評價任務而言，這個問題尤其突出，因為該任務不僅要理解長時序動作過程，還要對動作完成質量進行細粒度打分，任何關鍵模態的缺失都可能直接影響最終評價。

針對上述問題，北京大學彭宇新教授團隊聯合福州大學柯逍教授團隊提出了面向訓練階段不完整觀測的新框架 LIMSSR。該方法不再依賴完整模態監督，而是將不完整多模態動作質量評價重構為一種條件化的序列到分數推理問題，借助大語言模型的條件推理能力，從已有上下文中推斷缺失模態的潛在語義，再完成跨模態融合與最終評價預測。

2. 技術方案

圖 2. 大語言模型驅動的序列到分數推理方法（LIMSSR）框架圖

如圖 2 所示，LIMSSR 將不完整多模態動作質量評價建模為一個從 “部分觀測 + 缺失掩碼” 到 “質量分數” 的條件序列推理過程。

從整體形式上看，LIMSSR 學習如下映射關系：

階段 I：提示引導的上下文感知模態補全（PCMI）。本文并沒有像傳統方法那樣將缺失模態簡單置零，而是顯式告訴模型 “哪里缺失、缺的是什么、該如何推斷”。對于每種模態，作者設計了起止邊界詞元（token）；對于可觀測模態，輸入真實時序特征；對于缺失模態，則插入專門的缺失詞元作為占位。于是，觀測模態與缺失模態被統一組織為包含結構信息的輸入序列：

這一步的本質，不是恢復原始 “真值”，而是恢復對評價有幫助的潛在語義。

這樣一來，不同詞元可以分別關注動作完成度、時序穩定性、節奏一致性等不同維度，增強表示能力。

階段 III：掩碼感知的雙路徑聚合（MDA）。僅依賴大語言模型推理雖然能獲得高層語義，但在嚴重缺失場景中可能產生不確定性甚至 “幻覺”；而若只依賴底層統計特征，又容易損失任務相關語義。為此，本文進一步設計了兩條協同路徑，將 “語義推理路徑” 和 “統計恢復路徑” 結合起來。

這一過程用于根據缺失模式動態調節大語言模型語義推理結果的可信度。

第二條路徑則回溯各模態隱藏狀態，建模跨模態統計關系：

上述公式表明，LIMSSR 并不是單純依賴大語言模型 “猜出答案”，而是在語義推理與跨模態統計之間進行動態平衡，從而提升整體魯棒性。

總體而言，LIMSSR 的技術路線可以概括為：用提示詞顯式描述缺失狀態，用大語言模型推斷缺失語義，用融合詞元（token）匯聚多維信息，再用掩碼感知雙路徑機制控制推理可信度與統計穩健性。

3. 實驗結果

表 1. 大語言模型驅動的序列到分數推理框架（LIMSSR）在不完整模態場景下的結果

表 1 展示了 LIMSSR 在三個公開基準 FS1000、Fis-V 和 RG 上的不完整模態實驗結果。評估指標包括斯皮爾曼相關系數與均方誤差，其中相關系數越高越好，誤差越低越好。實驗覆蓋六種不完整模態組合和完整模態組合，并與來自不完整多模態情感識別、不完整多模態動作識別以及不完整 / 完整多模態動作質量評價領域的多種先進方法進行比較。結果表明，LIMSSR 在訓練階段存在模態缺失的嚴格設定下，依然取得了最優或極具競爭力的結果。這說明 LIMSSR 不僅能更準確地區分動作質量高低，也能在具體分數預測上保持更高精度。

表 2. 大語言模型驅動的序列到分數推理框架（LIMSSR）在完整模態場景下的結果

更值得注意的是，表 2 顯示 LIMSSR 雖然是為 “訓練階段不完整觀測” 設計的方法，但在完整模態場景下同樣表現出很強競爭力。這表明 LIMSSR 并不是通過犧牲完整場景性能來換取缺失場景魯棒性，而是學到了一種更通用、更穩定的多模態語義建模能力。

圖 3. 缺失模態潛在語義相似度分析

為了驗證 LIMSSR 是否真的學會了 “推斷缺失模態語義”，本文比較了模型推斷表示與真實模態表示之間的相似性。圖 3 表明，推斷表示與目標真實模態的相似度高于與其他模態的相似度，說明 LIMSSR 并不是生成一個模糊的 “平均語義”，而是能夠恢復有針對性的潛在信息。

圖 4. FS1000 上的 t-SNE 可視化圖

本文進一步給出了特征空間的 t-SNE 可視化結果。圖 4 顯示，經過 LIMSSR 推理后，缺失模態生成的潛在表示能夠更緊密地對齊到已有模態附近，明顯減小了跨模態語義鴻溝。這說明模型不僅 “補了信息”，而且實現了更有效的跨模態語義對齊。

4. 結論

針對訓練階段不完整觀測這一更真實、更具挑戰性的多模態學習問題，本文提出了大語言模型驅動的序列到分數推理框架 LIMSSR。該方法不依賴完整模態訓練監督，而是通過提示引導的上下文感知模態補全、大語言模型驅動的多維表示融合以及掩碼感知的雙路徑聚合，在已有模態上下文中恢復缺失模態的潛在語義，并進一步實現穩健評價預測，展現了大語言模型在不完整多模態學習中的重要潛力。