Holi-Spatial打造400萬級空間多模態(tài)數(shù)據(jù)集

從原始視頻出發(fā)，無需人工介入，自動生成 3D 重建、深度、2D mask、3D 框、實例描述、3D grounding 和空間問答。Holi-Spatial 試圖把「空間智能」的數(shù)據(jù)生產(chǎn)，推進到自動化、可擴展的新階段。

Holi-Spatial 3D grounding 展示。從視頻流中恢復(fù)場景幾何并定位開放詞表目標(biāo)。

Holi-Spatial 整體亮點。自動化管線從原始視頻流生成高質(zhì)量 3D 空間標(biāo)注，并進一步提升 VLM 空間能力。

近年來，大模型已經(jīng)在圖像理解、OCR、多圖推理、視頻問答等任務(wù)上快速迭代。但當(dāng)問題進入真實三維世界，模型仍然常常「看得見，卻想不清楚」：物體在左前還是右后？相機移動了多遠？兩個物體的空間關(guān)系是什么？同一個物體換一個視角后還能否穩(wěn)定定位？

這些能力背后有一個繞不開的問題：空間智能需要大規(guī)模、細粒度、帶幾何約束的 3D 數(shù)據(jù)。

現(xiàn)有做法通常依賴 ScanNet、ScanNet++ 等少量人工標(biāo)注 3D 數(shù)據(jù)集，再在其上生成 QA。這樣做能推動研究，但也帶來兩個限制：一是數(shù)據(jù)規(guī)模受限，二是人工采集和標(biāo)注形成的領(lǐng)域分布較窄，模型很難真正面向開放真實場景泛化。

針對這一瓶頸，來自上海人工智能實驗室、西北工業(yè)大學(xué)、上海交通大學(xué)等機構(gòu)的研究團隊提出了Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence，并獲ICML 2026 Oral。

論文提出一個全自動空間數(shù)據(jù)構(gòu)建框架 Holi-Spatial，能夠從原始視頻流出發(fā)，自動完成高質(zhì)量 3D 幾何重建、開放詞表語義感知、3D 實例提升與場景級精修，并進一步構(gòu)建出 Holi-Spatial-4M：一個包含 400 萬級空間標(biāo)注的大規(guī)模 3D 語義數(shù)據(jù)集。

• 論文地址：https://arxiv.org/abs/2603.07660
• 項目主頁：https://visionary-laboratory.github.io/holi-spatial/
• 代碼倉庫：https://github.com/Visionary-Laboratory/Holi-Spatial

概述

Holi-Spatial 把原始視頻自動轉(zhuǎn)化為可訓(xùn)練空間智能模型的多層級監(jiān)督數(shù)據(jù)，覆蓋從幾何重建到語義標(biāo)注、從 3D grounding 到空間問答的完整鏈路。

更關(guān)鍵的是，它不是只做一個單點任務(wù)，而是形成了一個自動化數(shù)據(jù)飛輪，團隊基于如今各種基座模型的能力增強嘗試使用全自動流程：視頻進入，3D 場景和空間語義標(biāo)注出來；數(shù)據(jù)規(guī)模繼續(xù)擴大，模型的 3D 空間理解能力也隨之提升。

為什么空間智能缺數(shù)據(jù)？

空間智能不是簡單的「圖片里有什么」。

它要求模型理解真實世界中的三維結(jié)構(gòu)和關(guān)系，例如：

• 相機從視角 A 到視角 B 主要向哪個方向移動？
• 某個椅子在當(dāng)前觀察者的左前方還是右后方？
• 桌子和沙發(fā)之間的距離是多少？
• 目標(biāo)物體在不同視角下是否能被穩(wěn)定定位？
• 一個開放詞表描述對應(yīng)的物體，能否在 3D 空間中準(zhǔn)確框出來？

這些問題既需要語義理解，也需要幾何一致性。僅靠單張圖片或普通視頻字幕，很難讓模型學(xué)到可靠的 3D 空間概念。

過去，研究者往往基于人工采集的 3D 數(shù)據(jù)集構(gòu)造空間 QA。問題是，這類數(shù)據(jù)集成本高、類別有限、規(guī)模難擴展。例如一些經(jīng)典室內(nèi) 3D 數(shù)據(jù)集的語義類別是封閉的，無法覆蓋真實世界中長尾、細粒度的物體描述。

Holi-Spatial 的出發(fā)點是：如果我們能把網(wǎng)絡(luò)和公開數(shù)據(jù)中的原始視頻，自動轉(zhuǎn)化為高質(zhì)量 3D 空間監(jiān)督，空間智能的數(shù)據(jù)瓶頸就有機會被系統(tǒng)性緩解。

Holi-Spatial 怎么做？

Holi-Spatial 的核心是一個三階段自動化數(shù)據(jù)構(gòu)建管線。

Holi-Spatial 數(shù)據(jù)構(gòu)建框架。整體流程包括幾何優(yōu)化、圖像級感知、場景級精修，并最終生成 Holi-Spatial-4M 用于下游訓(xùn)練。

第一階段：幾何優(yōu)化，把視頻變成高質(zhì)量 3D 結(jié)構(gòu)

系統(tǒng)首先從原始視頻中恢復(fù)相機內(nèi)外參，并利用空間基礎(chǔ)模型得到初始稠密點云和深度先驗。

但直接使用前饋深度模型會遇到一個典型問題：多視角投影時容易出現(xiàn)噪聲、漂浮點和幾何不一致。為此，Holi-Spatial 引入 3D Gaussian Splatting 進行逐場景優(yōu)化，并加入幾何正則，使深度在多視角下更加一致。

這一步的目標(biāo)不是單純追求視覺上好看的重建，而是為后續(xù) 3D 框生成、實例聚合和空間 QA 構(gòu)造提供可靠幾何基礎(chǔ)。

第二階段：圖像級開放詞表感知，把 2D 語義提升到 3D 候選

在每個視頻場景中，系統(tǒng)采樣關(guān)鍵幀，并使用 VLM 生成開放詞表類別。為了讓不同幀中的類別更穩(wěn)定，Holi-Spatial 維護一個動態(tài)類別記憶，讓模型優(yōu)先復(fù)用歷史幀中已經(jīng)識別過的語義標(biāo)簽。

隨后，系統(tǒng)使用 SAM3 生成開放詞表實例分割 mask，再結(jié)合優(yōu)化后的 3DGS 深度，將 2D mask 反投影到三維空間，形成初始 3D 物體候選。

論文中特別處理了一個常見難點：2D mask 邊界誤差和深度邊緣噪聲會導(dǎo)致 3D 框不準(zhǔn)。Holi-Spatial 通過 mask 腐蝕和 mesh-guided depth filtering 過濾不可靠邊緣點，從而減少 3D 漂浮點對物體框的干擾。

第三階段：場景級精修，合并、驗證、描述實例

初始 3D 候選通常會有重復(fù)、碎片化和低置信度的問題。Holi-Spatial 進一步在場景級進行粗到細精修：

1. 多視角合并：根據(jù)類別和 3D IoU 合并跨視角重復(fù)實例。

2. 地面 / 重力對齊：讓 3D 框更加符合真實場景中的垂直方向。

3. 置信度過濾：高置信度實例保留，低置信度實例刪除。

4.VLM Agent 復(fù)核：對邊界置信度實例，用帶有 zoom-in 和重分割工具的 VLM Agent 再次驗證。

5. 實例描述和 QA 生成：對最終實例生成細粒度 caption，并構(gòu)造 3D grounding 與空間 QA 樣本。

這套流程最終輸出的不只是一個重建模型，而是一組可直接用于訓(xùn)練空間智能模型的多模態(tài)監(jiān)督。

Holi-Spatial-4M：400 萬級空間標(biāo)注

基于上述自動化管線，作者構(gòu)建了 Holi-Spatial-4M。

數(shù)據(jù)來自 ScanNet、ScanNet++ 和 DL3DV-10K 等多源視頻場景。與傳統(tǒng)封閉類別 3D 數(shù)據(jù)不同，Holi-Spatial-4M 依托 VLM 的開放世界知識，能夠覆蓋更長尾、更細粒度的室內(nèi)物體類別。

Holi-Spatial-4M 數(shù)據(jù)統(tǒng)計，包括開放詞表物體分布、不同來源場景占比，以及空間 QA 任務(wù)類型分布。

實驗結(jié)果：數(shù)據(jù)質(zhì)量和訓(xùn)練增益都顯著

Holi-Spatial 首先在數(shù)據(jù)構(gòu)建質(zhì)量上進行了驗證。作者在 ScanNet、ScanNet++ 和 DL3DV-10K 中隨機采樣場景，并額外進行人工標(biāo)注作為評估 GT，比較深度、2D 分割和 3D 檢測質(zhì)量。

多視角深度可視化對比。相比 LangSplat、M3-Spatial、Depth-Anything-V3 等方法，Holi-Spatial 生成的點云更干凈，漂浮點和重影更少。

表 1：Holi-Spatial 在 ScanNet、ScanNet++ 和 DL3DV-10K 上的數(shù)據(jù)構(gòu)建質(zhì)量評估。表格對應(yīng)論文 Table 2，對比深度 F1、2D 分割 IoU 和 3D 檢測 AP25/AP50。

從表 1 可以看到，Holi-Spatial 在三個數(shù)據(jù)源上同時提升幾何、2D 語義和 3D 檢測質(zhì)量：在 ScanNet++ 上，Depth F1 達到 0.89，2D Seg IoU 達到 0.64，3D Det AP25/AP50 達到 81.06/70.05；在 ScanNet 上對應(yīng)指標(biāo)為 0.98、0.66、76.60/67.00；在 DL3DV-10K 上也達到 0.78、0.71、62.89/52.67。相比 M3-Spatial、LangSplat、SA2VA、LLaVA-3D 等基線，Holi-Spatial 不只在單一任務(wù)上領(lǐng)先，而是在深度、分割和 3D 框三個環(huán)節(jié)都保持更穩(wěn)定的整體質(zhì)量。

開放詞表 2D 實例分割可視化。Holi-Spatial 在邊界完整性、遮擋場景和細粒度類別識別上表現(xiàn)更穩(wěn)定。

ScanNet++ 上的 3D 目標(biāo)檢測可視化。相比 SceneScript、LLaVA-3D、SpatialLM，Holi-Spatial 預(yù)測的 3D 框更緊湊，類別更準(zhǔn)確。

更重要的是，這些數(shù)據(jù)確實能提升 VLM 的空間能力。

作者使用 Holi-Spatial-4M 對 Qwen3-VL 系列模型進行微調(diào)。在空間 QA 任務(wù)上：

表 2：Holi-Spatial-4M 微調(diào)后，Qwen3-VL 系列模型在 MMSI-Bench, MindCube,ViewSpatial 和 SparBench-tiny 上的空間 QA 結(jié)果。

在 ScanNet++ 3D grounding 任務(wù)上：

表 3：Holi-Spatial-4M 微調(diào)后，Qwen3-VL-8B 在 ScanNet++ 3D grounding 任務(wù)上的結(jié)果。

這里的 AP15、AP25 和 AP50 分別對應(yīng)不同 IoU 閾值下的 3D grounding 平均精度，閾值越高，對預(yù)測 3D 框的位置、尺寸和空間對齊要求越嚴格。可以看到，原始 Qwen3-VL-8B 在 AP50 上為 13.50，經(jīng)過 Holi-Spatial-4M 微調(diào)后提升到 27.98，增加 14.48 AP 點；在 AP15 和 AP25 上也分別從 19.82、16.80 提升到 35.52、31.94。

這說明 Holi-Spatial-4M 帶來的提升并不只來自語言問答能力，而是讓模型更好地把文本指令、圖像觀察和 3D 空間位置對齊起來。論文中將這種提升歸因于 1.2M 3D grounding 樣本提供的強監(jiān)督：相比主要依賴單視角或錨定視角訓(xùn)練的基線模型，經(jīng)過 Holi-Spatial 數(shù)據(jù)訓(xùn)練后的模型在跨視角、不同空間深度和遮擋場景下更容易定位到正確物體。

Holi-Spatial 構(gòu)建的 10 類空間 QA 樣例，覆蓋相機運動、相機 - 物體關(guān)系、物體 - 物體關(guān)系和尺寸測量等任務(wù)。

這些 QA 并不是簡單的物體識別題，而是圍繞空間關(guān)系設(shè)計了 10 類問題：相機旋轉(zhuǎn)、相機移動方向、相機移動距離、相機 - 物體方向、相機 - 物體距離、全局坐標(biāo)系下的相機 - 物體距離、物體 - 物體距離、物體尺寸測量、局部觀察者坐標(biāo)系下的物體 - 物體方向，以及全局坐標(biāo)系下的物體 - 物體方向。這樣的設(shè)計讓模型同時學(xué)習(xí)自我運動、視角變化、物體間相對位置和尺度估計。

論文還提到，訓(xùn)練這些 QA 數(shù)據(jù)對 MindCube 和 MMSI-Bench 中的視角切換、第一人稱空間想象等問題尤其有幫助。同時，Holi-Spatial 會先用 VLM 描述物體外觀，再把外觀描述作為問題中的指代表達，這相當(dāng)于把「看清物體」和「在 3D 空間中定位物體」綁定起來，進一步增強模型在空間問答中的視覺 grounding 能力。

3D grounding 可視化。經(jīng)過 Holi-Spatial 數(shù)據(jù)微調(diào)后，模型能在多視角和不同空間深度下更準(zhǔn)確定位查詢物體。

一個值得關(guān)注的點：自動化數(shù)據(jù)飛輪

Holi-Spatial 最值得關(guān)注的地方，不只是做出了一個大數(shù)據(jù)集，而是把 “空間數(shù)據(jù)生產(chǎn)” 這件事變成了一個自動化流程。

這點對于空間智能很關(guān)鍵。

如果模型要進入機器人、AR、具身智能、場景編輯和真實世界導(dǎo)航等應(yīng)用，靠有限人工掃描數(shù)據(jù)很難覆蓋足夠多的環(huán)境、物體和空間關(guān)系。原始視頻則更容易獲得，數(shù)量也遠大于傳統(tǒng) 3D 標(biāo)注數(shù)據(jù)。

Holi-Spatial 證明了一個方向：通過組合當(dāng)前強大的幾何模型、VLM、分割模型和 3D 優(yōu)化方法，原始視頻可以被自動轉(zhuǎn)化成結(jié)構(gòu)化、可訓(xùn)練、可評估的空間智能數(shù)據(jù)。

這也意味著，未來空間智能模型的提升可能不只來自更大的模型參數(shù)，還來自更強的數(shù)據(jù)構(gòu)建系統(tǒng)。

也有哪些限制？

論文也討論了當(dāng)前系統(tǒng)的局限。

首先，Holi-Spatial 依賴多個上游模型和逐場景優(yōu)化，計算成本仍然較高。其次，在視角有限、運動模糊、嚴重遮擋、動態(tài)物體較多的視頻中，幾何恢復(fù)和實例標(biāo)注仍可能退化。開放詞表語義標(biāo)注也可能繼承基礎(chǔ)模型的偏差或錯誤，因此更穩(wěn)健的驗證機制和不確定性估計仍是未來方向。

不過，作為一個自動化空間數(shù)據(jù)構(gòu)建框架，Holi-Spatial 已經(jīng)展示出明確潛力：當(dāng)原始視頻數(shù)據(jù)繼續(xù)增長，空間智能模型也可以獲得更大規(guī)模、更細粒度、更接近真實世界的訓(xùn)練信號。

作者與機構(gòu)

論文作者包括 Yuanyuan Gao、Hao Li、Yifei Liu、Xinhao Ji、Yuning Gong、Yuanjun Liao、Fangfu Liu、Manyuan Zhang、Yuchen Yang、Dan Xu、Xue Yang、Huaxi Huang、Hongjie Zhang、Ziwei Liu、Xiao Sun、Dingwen Zhang、Zhihang Zhong。

機構(gòu)覆蓋上海人工智能實驗室、西北工業(yè)大學(xué)、上海交通大學(xué)、北京大學(xué)、南洋理工大學(xué)、北京航空航天大學(xué)、四川大學(xué)、清華大學(xué)、香港中文大學(xué)、復(fù)旦大學(xué)、香港科技大學(xué)等。

Paper: https://arxiv.org/abs/2603.07660

Project: https://visionary-laboratory.github.io/holi-spatial/

Code: https://github.com/Visionary-Laboratory/Holi-Spatial