中科院與全球頂尖機構發布十億參數級手術視頻基礎模型SurgMotion

機器之心發布

手術 AI 正在從 “單幀感知” 邁向 “全流程視頻理解” 的全新時代！近日，由中國科學院香港創新研究院人工智能與機器人創新中心領銜，聯合中國科學院自動化所、香港中文大學、慕尼黑工業大學、北京協和醫院、中山大學附屬第一醫院、香港威爾斯親王醫院、香港大學深圳醫院等全球頂尖機構，正式發布了全球首個十億級參數、最大規模數據集練成的手術視頻原生基礎模型 ——SurgMotion！

• 論文：SurgMotion: A Video-Native Foundation Model for Universal Understanding of Surgical Videos
• 論文鏈接：https://arxiv.org/pdf/2602.05638
• Github 倉庫: https://github.com/CAIR-HKISI/SurgMotion
• Hugging Face 權重: https://huggingface.co/CAIR-HKISI/SurgMotion

作為手術 AI 領域的里程碑式成果，SurgMotion 依托于迄今為止全球規模最大、術式覆蓋最全的千萬幀級（SurgMotion-15M）手術視頻數據集，首次突破十億級參數規模，實現了對器械 - 組織交互及復雜時空運動語義的深度建模。不僅如此，模型在首次覆蓋 17 項核心手術任務的系統性評測中展現出卓越性能：手術視頻動態理解性能平均提升達16.5%；手術中靜態任務（如深度估計、病灶分割）平均誤差降低2.9%，全方位定義了通用手術視頻理解的全新技術標桿！

發布僅三個月，SurgMotion 已迅速成為 Hugging Face 上全球下載量第一的手術視頻基礎模型！ 目前，已有來自 5 大洲、14 個國家和地區的近 40 個全球頂尖機構與研究團隊（包括直覺外科、卡爾史托斯、蔡司、杜克大學、慕尼黑工業大學等）正式申請使用。

圖 1. SurgMotion 基礎模型架構及多場景、多任務賦能示意圖。

01. 范式顛覆：

從 “像素重建” 到 “時空運動預測”

傳統的醫療視覺模型往往受限于 “單幀圖像” 的靜態感知，或是深陷于低效的像素級重建泥潭。在實際手術中，煙霧、反光、出血等低級視覺噪聲會消耗模型大量的計算資源，導致模型無法真正理解手術的 “動態語義”。

SurgMotion 帶來了行業內首次根本性的范式顛覆！基于先進的視頻聯合嵌入預測架構（V-JEPA），SurgMotion 徹底摒棄了傳統的像素級解碼，轉而專注于潛空間（Latent Space）中的運動預測。SurgMotion 引入了三大核心技術創新：

• 運動引導的潛空間遮蔽預測（Motion-Guided Latent Masked Prediction）：引導模型自動過濾無用噪聲，將注意力聚焦于器械運動、組織形變等關鍵手術語義區域。
• 時空親和力自蒸餾（Spatiotemporal Affinity Self-Distillation）：強制模型學習手術視頻在時間和空間上的強關聯性，實現對復雜手術流程的連貫理解。
• 時空特征多樣性正則化（SFDR）：有效解決手術場景中由于紋理單一而導致的表征崩潰問題，確保模型在各種極端手術場景下依然保持極高的魯棒性。

圖 2：SurgMotion 的預訓練框架與下游評估流程。

02. 全球最大：

SurgMotion-15M 預訓練數據集

巧婦難為無米之炊，手術視頻的高門檻、隱私性和標注難度，導致行業長期處于 “數據孤島” 狀態。

為了徹底打破這一瓶頸，研究團隊傾力打造了迄今為止全球規模最大、術式最豐富、覆蓋最全面的手術視頻預訓練數據集 ——SurgMotion-15M：

• 超大體量：包含3,658 小時的真實手術視頻，總幀數高達1500 萬幀；
• 極高多樣性：匯聚了來自50 個不同數據源的珍貴影像；
• 全科室覆蓋：橫跨13 個主要解剖區域，涵蓋腹腔鏡、胸腔鏡、神經外科、眼科、耳鼻喉科等多學科復雜術式。

如此龐大且高質量的數據滋養，賦予了 SurgMotion 史無前例的泛化能力與跨科室通用性。

圖 3：SurgMotion-15M 與國內外主流手術視頻數據集的總時長對比。

03. 模型參數史上首次邁入十億級

在1B 參數支持下，SurgMotion 成功整合視頻特征空間，將手術視頻核心動態與時空信息深度學習。該模型對器械 - 組織交互、組織形變及操作節奏的捕捉能力顯著超越以往。

圖 4：預訓練數據規模、模型參數量與流程識別性能對比。

04. 首次全面評測：

覆蓋 17 項核心手術任務

在涵蓋手術工作流識別、動作理解、深度估計、病灶分割、器械交互以及手術技能評估等17 項權威基準測試中，SurgMotion 接受了極其嚴苛的系統性評測，并展現出了統治級的性能表現：

• 手術工作流理解（Workflow Recognition）：在 EgoSurgery 數據集上，F1 分數大幅提升 14.6%；在 PitVis 數據集上提升 10.3%。
• 動作三元組識別（Action Triplet Recognition）：在行業公認的 CholecT50 數據集上，以39.54% mAP-IVT 的優異成績刷新世界紀錄；
• 靜態視覺與幾何感知：在深度估計任務中，誤差平均降低2.95%；在息肉 / 病灶分割任務中，精度相較于既有最強模型平均提升約1.0%，展現出極強的空間幾何感知力。

無論是宏觀的手術步驟推理，還是微觀的器械 - 組織交互，SurgMotion 都用詳盡的評測數據證明了其作為通用底座的強大實力。

圖 5. SurgMotion 在各項主流手術理解任務及科室中的性能雷達圖

05. 全球生態共鳴：推動技術落地與合作

對于廣大醫療 AI 科研團隊而言，數據清洗、算力開銷以及繁瑣的環境配置往往是阻礙創新的最大痛點。因此，SurgMotion 在 GitHub 和 Hugging Face 上全面開放了模型權重、微調代碼、開箱即用的評估框架與環境配置接口。自發布以來，SurgMotion 的影響力已從學術界快速延伸至全球醫療技術與臨床研究生態，并在產業界、科研機構和臨床場景中形成廣泛共鳴：

• 產業合作方面：已有至少5 家醫療科技企業和行業機構申請使用 SurgMotion，包括Intuitive Surgical（達芬奇手術機器人公司）、Karl Storz（內鏡設備龍頭）和ZEISS（光學與醫療設備企業）等研發團隊，用于手術視頻理解、內鏡智能分析、機器人輔助手術等方向的技術評估與應用探索。
• 高校與科研生態方面：已有至少22 所高校和科研機構加入 SurgMotion 的使用與驗證，包括Duke University、慕尼黑工業大學（TUM）、悉尼大學、香港科技大學、澳門大學等團隊，研究方向覆蓋手術 VLA 模型開發、視頻特征提取、時序推理、手術動作理解和多模態手術智能等前沿領域。
• 臨床實踐合作方面：已有至少 7 家醫院、醫學院及臨床相關機構申請使用 SurgMotion，包括 Samsung Medical Center、Bucheon Sejong Hospital、Southern Medical University、Thomas Jefferson 等機構，圍繞手術教學、術中質量評估、數據質控和結構化復盤等真實臨床需求開展探索。特別是，SurgMotion 團隊與港大深圳醫院緊密合作，通過自動化手術視頻結構化分析，推動手術標準化教學、手術質量復盤與臨床質控流程的智能化升級。

這一生態擴展為 SurgMotion 提供了從基礎研究、產業驗證到臨床落地的多維應用場景，也進一步體現了其作為手術視頻基礎模型的通用能力與真實世界價值。

中國科學院香港創新研究院人工智能與機器人創新中心聚焦人工智能與生命健康的融合創新，圍繞多模態大模型、具身智能、數字孿生開展研發，入選香港InnoHK計劃。中心堅持臨床和產業需求為驅動，以為醫生患者創造價值為目標，成建制開展面向醫療AI 的研發與轉化。