ECCV 2026｜把全球3D地圖變成無人機訓練場，國防科大AirZoo構建航拍幾何3D視覺統一基準

國防科技大學虛擬現實與視覺計算團隊（SAW Lab）聯合先進制導與控制技術國家級重點實驗室等推出面向航拍幾何 3D 視覺的統一大規模數據集與評測基準「AirZoo」。

團隊發布了基于 AirSim-Cesium-Unreal 的自動化仿真管線，以及 AirZoo 合成數據集和 AirZoo-Real 真實評測集。合成數據覆蓋全球 22 個國家、377 條氣象條件軌跡，包含超過 120 萬幀像素級 RGB-D 數據及對應的 6-DoF 地理位姿標注，統一支持航拍圖像檢索、跨視角匹配與多視圖 3D 重建三大任務。

現如今，視覺基礎模型在街景、室內等常見場景中已經取得了不錯的效果，但無人機航拍中的復雜視角、尺度和環境變化仍會帶來新的挑戰。

AirZoo 從訓練數據入手，為模型適應航拍幾何 3D 視覺任務提供了新的支撐。實驗表明，僅使用 AirZoo 對 MegaLoc、RoMa、VGGT、Depth Anything 3 等主流模型進行微調，便能在公開基準以及團隊新采集的 AirZoo-Real 真實飛行數據上帶來顯著提升。換言之，AirZoo 并非只是在擴大數據規模，而是在為無人機空間智能提供一套可擴展、可復現的預訓練引擎。該研究成果已被 ECCV 2026 接收。

AirZoo總覽。上圖：基于全球尺度3D Tiles的百萬級合成UAV數據，具備像素級幾何真值與豐富飛行軌跡；下圖：在AirZoo上微調后，SoTA模型在航拍圖像檢索、跨視角匹配、多視圖3D重建三大幾何3D視覺任務上均獲得顯著性能提升。

• 論文標題：AirZoo: A Unified Large-Scale Dataset for Grounding Aerial Geometric 3D Vision
• 論文主頁：https://nudt-sawlab.github.io/AirZoo/
• 論文鏈接：https://arxiv.org/abs/2604.26567
• 渲染引擎：https://github.com/nudt-sawlab/AirZoo
• 數據發布：https://huggingface.co/datasets/choyaa/AirZoo/tree/main
• 真實評測集：https://huggingface.co/datasets/RingoWRW97/AirZoo-Real/tree/main

研究動機：航拍幾何 3D 視覺，

究竟缺了什么？

近年來，大規模數據驅動的 3D 視覺基礎模型在地面視角的檢索、匹配與重建任務上進展迅速，但其主流訓練語料長期集中于街景、室內和物體中心視角。無人機卻在 6-DoF 空間中自由飛行。相機俯仰角可以從斜視快速轉為正射，畫面中的建筑立面會被屋頂取代，幀間位移與尺度變化也遠超常規地面采集。這種劇烈的視角域鴻溝，使在地面數據上訓練成熟的模型難以直接遷移到空中。

比視角變化更棘手的是幾何監督的缺失。現有 UAV 數據集往往面臨兩難取舍。一類數據強調光度真實感，卻缺少米制深度與精確位姿；另一類雖然提供了一定的幾何信息，但只覆蓋少量手工構建的城市場景，難以支撐序列級幾何學習。與此同時，真實航拍還會遭遇晝夜交替、晴雨霧雪以及城鄉地貌差異。小規模合成數據或局部實景采集，很難覆蓋這類復雜的全球部署條件。

因此，AirZoo 并不是簡單增加一個航拍數據集，而是希望建立一套全球可擴展、幾何可驗證、環境可控制的數據引擎，并通過真實飛行評測驗證從仿真到現實的遷移能力。

核心思路：把全球 3D Tiles

變成可學習的無人機軌跡

AirZoo 的核心思路，是將全球尺度的真實地理場景、可控的無人機運動和像素級幾何監督接入同一條自動化生產管線。研究團隊以 AirSim、Cesium 和 Unreal Engine 為基礎，從 WGS84 航點出發自動生成飛行軌跡，按幀同步渲染 RGB、米制深度、相機內參與帶地理參考的 6-DoF 位姿。這樣得到的不再是彼此孤立的航拍截圖，而是具有連續時序關系、可被標準幾何流程直接使用的學習數據。

第一步，是打通AirSim-Cesium-Unreal 自動化渲染管線。Python 控制器負責下發全球 WGS84 航點，Cesium for Unreal 將 Google Photorealistic 3D Tiles 流式載入 UE5，AirSim 則負責多旋翼 UAV 和虛擬相機的同步采集。相比只提供單幀圖像的檢索數據集，AirZoo 可以輸出連續 30 fps 的軌跡級 RGB-D 數據和可驗證幾何真值，既能直接服務 COLMAP 等標準流程，也能為端到端模型提供穩定的 3D 監督。

AirSim-Cesium-Unreal仿真管線。Python生成全球航跡，Cesium載入3D Tiles，AirSim同步采集RGB、深度與地理位姿。

第二步，是把數據規模從少數場景擴展到全球環境。AirZoo 橫跨六大洲 22 個國家，包含 95 條基礎飛行序列與 377 條氣象條件軌跡，累計飛行約 2400 km，生成超過 120 萬幀、分辨率為 1600×1200 的圖像。數據覆蓋城市、鄉村和自然地貌，并系統模擬晴、陰、雨、霧、雪以及晝間、黃昏、夜間等條件；相機俯仰角在 10° 斜視至 90° 正射之間動態掃掠，飛行高度覆蓋 0 至 800 m 的低空生態圈。

這種大規模全球覆蓋與可控環境擾動的組合，目的不是簡單增加圖像數量，而是迫使模型關注跨地域、跨天氣仍然穩定的幾何結構，減少對局部紋理和特定外觀的記憶。

AirZoo構建流程與數據屬性：全球區域選取、仿真采集、同步RGB-D渲染與多條件多樣性展示。

AirZoo綜合統計：區域/環境/天氣分布、全球覆蓋范圍，以及高度與俯仰角包絡。

第三步，是讓合成數據的幾何質量能夠被嚴格驗證。AirZoo 為每一幀提供針孔相機內參，以及 WGS84 和 ECEF 雙坐標系下的 6-DoF 位姿。團隊通過鄰幀雙向重投影檢查其幾何一致性，得到的中位相對深度誤差低于 0.1%。同時，研究人員收集公開的 DJI 實拍視頻，并在 AirZoo 中復現相同視點進行真實與合成對照。結果顯示，合成視圖在場景布局、目標尺度和結構紋理上均與真實航拍具有較高可比性，為 Sim-to-Real 遷移提供了可信基礎。

幾何驗證：重投影誤差CDF（中位0.066%），以及同一區域不同天氣軌跡下的多視圖對應與共視關系。

相同視點下的真實航拍與AirZoo合成渲染對比。

第四步，是用一套數據統一三條航拍幾何 3D 視覺賽道。在航拍圖像檢索中，系統需要根據 UAV 查詢圖，從帶地理標注的衛星瓦片中找到對應區域，實現跨視角地理定位；在跨視角匹配中，系統要在 DOM/DSM 參考圖與斜視 UAV 圖像之間建立幾何對應，為位姿估計提供約束；在多視圖 3D 重建中，模型則需要從 UAV 序列恢復相機位姿與稠密幾何。為了避免評測只停留在合成域，團隊還發布了 AirZoo-Real 真實飛行評測集。該數據集覆蓋長沙等城市與鄉村場景、不同晝夜時段，并提供 RTK 精確定位，專門用于檢驗算法進入真實航拍環境后的性能上限。

AirZoo訓練與零樣本測試數據集劃分。訓練集與測試集在空間上無重疊，覆蓋檢索、匹配與重建三類任務。

實驗結果

實驗中，團隊保持模型架構不變，僅使用 AirZoo 對現有模型進行微調，并在航拍圖像檢索、跨視角匹配和多視圖 3D 重建三個任務中觀察模型在真實航拍域中的變化。完整的定量結果及不同數據集上的詳細對比均列于論文原文的實驗表格中，本文僅選取部分代表性指標，并結合定性結果進行介紹。

在航拍圖像檢索任務上，AirZoo 增強了模型在復雜跨視角場景中的地理定位能力。以 MegaLoc 為基座進行微調后，模型在 AirZoo-Real 上的 R@1 由 6.46% 提升至18.66%，R@5 由 22.16% 提升至50.53%。從定性結果也可以看到，面對真實斜視航拍、尺度變化和光照差異，現有方法容易返回外觀相似但位置錯誤的衛星圖像。使用 AirZoo 微調 MegaLoc 后，模型能夠更穩定地檢索到與查詢圖像對應的區域。這說明 AirZoo 所提供的多樣化視角與環境變化，有助于模型跨越航拍圖像與衛星圖像之間的域差異。

跨視角地理定位定性對比。綠色/粉色邊框分別表示檢索正確與錯誤；AirZoo微調后Top-1衛星瓦片檢索在復雜視角與光照變化下更穩定。

在跨視角匹配任務上，經 AirZoo 微調的 RoMa 產生了更可靠的幾何對應。在 AirZoo-Real 定位任務上，模型的中位誤差降至3.03 m，acc@5m 提升至79.78%。原始 RoMa 在大幅視角變化下容易將局部紋理錯誤關聯，即使經過大規模航拍視頻數據訓練的 GIM RoMa 仍會出現局部誤匹配。相比之下，AirZoo RoMa 的匹配點更均勻地分布在道路、建筑等靜態結構上，并明顯減少了錯誤對應，為后續位姿估計提供了更穩定的幾何約束。

AirZoo-Real跨視角匹配定性結果。粉色框標出錯誤匹配區域；AirZoo微調后的RoMa在航拍跨視角條件下產生更可靠的幾何對應。

在多視圖 3D 重建任務上，Depth Anything 3 與 VGGT 均從 AirZoo 訓練中獲得了明顯收益。 在 AirZoo-Test 上，DA3-Large 的 F1 由 54.10 提升至86.09。在 UrbanScene3D 上，VGGT 的 F1 由 43.38 提升至52.61。定性對比進一步顯示，原始模型容易出現局部結構缺失、幾何斷裂和偽影。經 AirZoo 微調后，重建結果覆蓋更完整，建筑、道路與植被等場景結構也更加連貫。不同數據集上的一致改善表明，AirZoo 能夠為模型補充航拍域所需的幾何先驗，并提升其向真實飛行場景遷移的能力。

AirZoo-Real、UAVScenes與UrbanScene3D上的重建定性對比。紅色框標出原始模型的缺失或錯誤區域，微調后幾何更完整、偽影更少。

總結與思考

AirZoo 將全球可擴展仿真、像素級幾何真值和三任務統一評測整合為一套面向無人機空間智能的數據與評測平臺。它的價值不只在于百萬量級這一規模，更在于把全球 3D 地理場景轉換成連續、可驗證、可復現的學習軌跡，讓檢索、匹配與重建模型能夠在同一套幾何監督下獲得航拍先驗。

從實驗結果看，AirZoo 為現有視覺基礎模型補充了跨視角、跨尺度和復雜環境下的航拍幾何知識。經過 AirZoo 訓練后，這些模型在真實航拍域中的檢索穩定性、匹配可靠性和重建完整性均得到改善。這表明，大規模、多樣化且帶有精確幾何監督的合成數據，能夠有效推動視覺基礎模型向真實無人機任務遷移。團隊同系列的 PiLoT 等定位工作，同樣受益于這套 AirSim-Cesium-Unreal 數據范式。

未來，團隊將繼續擴展數據規模與真實基準的覆蓋范圍，推動航拍幾何 3D 視覺在智慧城市、應急測繪和無人系統等場景中的實際落地。