![]()
遙感圖像目標檢測是一項基礎且關鍵的任務,廣泛服務于城市監測、交通分析、海事監管、機場管理、應急救援等重要應用。然而,長期以來,遙感目標檢測面臨一個核心瓶頸:數據集規模有限、類別體系割裂、傳感器和分辨率差異巨大,導致模型往往只能在特定數據集或特定場景下表現良好,難以真正泛化到復雜真實世界。
近日,北京航空航天大學史振威教授和鄒征夏教授團隊發布了一個面向通用遙感目標檢測的大規模數據集與基礎模型框架 ——LEVIRDet。該研究構建了目前最大規模、最全面的遙感目標檢測數據集 LEVIRDet-159,并在此基礎上提出了面向通用遙感檢測的基礎模型 LEVIRDetNet。
LEVIRDet-159 覆蓋 159 個目標類別、包含約 17.4 萬張遙感圖像、超過 256 萬個目標標注框,并在飛機、艦船、車輛等典型遙感目標上提供了約 70 萬個細粒度標注。在圖像數量、目標實例數量、類別數量等關鍵維度上,LEVIRDet-159 均超過已有代表性遙感目標檢測數據集,為訓練真正具備跨場景、跨傳感器、跨類別體系泛化能力的遙感檢測基礎模型提供了新的數據基礎。
圍繞遙感目標檢測中的類別體系不一致、標注框規范不統一、細粒度標簽可靠性不足等問題,本項研究構建了一套統一的數據標注引擎。通過緊致水平框標注、多層級類別體系、源盲細粒度復標和全圖一致性校驗,LEVIRDet-159 將來自不同衛星、航空平臺和地圖服務的遙感數據統一到一個標準化檢測協議下。
在嚴格的 target-training-free cross-benchmark 評測設置下,LEVIRDetNet 在 LEVIRDet-159 上僅通過單次訓練,即可直接在 9 個外部遙感目標檢測基準上取得 SOTA 水平;即使在沒有外部數據集微調的條件下,也可實現相比最強競爭方法平均提升 5.02 mAP 的效果。
![]()
- 論文標題:LEVIRDet: A Million-Scale 159-Category Dataset and Foundation Model for Universal Remote Sensing Object Detection
- 論文鏈接:https://arxiv.org/abs/2606.25312
- 代碼鏈接:https://qinzheyang.github.io/LEVIRDet/
![]()
為什么遙感檢測需要一個 “基礎模型”?
過去幾年,通用視覺領域已經出現了大量基礎模型,但在遙感目標檢測中,模型泛化仍然非常困難。原因在于,遙感圖像與自然圖像相比具有更強的尺度變化、更密集的小目標、更復雜的成像來源,以及更不統一的類別體系。
例如,同樣是 “飛機”,在高分辨率機場圖像中可以進一步區分為不同機型,而在低分辨率圖像中可能只能可靠識別為 “飛機” 這一父類。類似地,船舶、車輛等目標也存在大量細粒度類別,但其可辨識程度高度依賴地面采樣距離、目標尺寸和圖像質量。
因此,遙感檢測模型不能只依賴更大的網絡或更多的數據,還需要在模型結構中顯式建模遙感圖像的物理尺度、場景密度和語義層級關系。這也是 LEVIRDetNet 的核心出發點:把遙感圖像中的尺度、密度和層級類別信息放進同一個端到端檢測框架。
LEVIRDet-159:不只是 “大”,
更是 “統一” 和 “細粒度”
LEVIRDet-159 的一個核心特點是大規模、多源、統一協議和多層級類別體系并重。
該數據集包含 174,488 張圖像、超過 1735 億像素、2,563,973 個目標實例,覆蓋 30 個常見遙感父類和 159 個目標類型。其中,細粒度分支包括 45 類飛機、13 類車輛和 71 類艦船,使其不僅是一個通用遙感檢測數據集,也是一個多目標族細粒度檢測基準。
![]()
![]()
從目標尺度看,LEVIRDet-159 同時覆蓋極小目標、小目標、中等目標和大型結構目標。其中,大量目標尺寸小于 32 像素,能夠有效支撐遙感場景中典型的小目標和密集目標檢測研究。
![]()
從數據來源看,LEVIRDet-159 融合了衛星影像、航空影像、地圖服務影像以及多個公開遙感資源,覆蓋 SPOT、高分系列、吉林一號、Pleiades、Google/Baidu 地圖服務、Bing 影像等多種來源,具有較強的跨平臺和跨成像條件多樣性。
![]()
不過,LEVIRDet-159 的價值并不只是 “把更多數據組合在一起”。團隊對原始數據進行了系統化重建:約 148 萬個標注框為新增標注,約 85 萬個標注框經過幾何修正或細粒度重標注。換言之,LEVIRDet-159 是在統一標注規范和語義體系下重新組織、校準和擴展得到的,而不是已有數據集的簡單合并。
![]()
LEVIRDetNet:面向通用遙感檢測的
尺度 - 層級感知基礎模型
基于 LEVIRDet-159,團隊進一步提出了 LEVIRDetNet,一個面向通用遙感目標檢測的尺度 - 層級感知基礎模型。
LEVIRDetNet 以端到端檢測框架為基礎,引入了三個面向遙感場景的關鍵設計:
第一,在線視覺空間分辨率(Ground Sampling Distance, GSD)預測。遙感圖像中,目標在圖像中的像素大小與真實物理尺度之間高度相關。LEVIRDetNet 不依賴外部元數據,而是直接從圖像內容中預測視覺 GSD,并將其作為模型的尺度條件信號。
第二,GSD 條件化查詢調制與動態查詢分配。遙感圖像既可能包含稀疏的大目標,也可能包含成百上千個密集小目標。LEVIRDetNet 根據圖像尺度和場景密度動態調整檢測查詢,使模型在稀疏場景中減少冗余計算,在密集小目標場景中保留足夠檢測能力。
第三,層級感知檢測頭。面對父類與細粒度子類共存的遙感類別體系,傳統扁平分類器容易將語義相容的預測視為錯誤。LEVIRDetNet 通過層級感知分類機制,在訓練中同時利用父類、子類和祖先路徑信息,使模型能夠更好地處理混合粒度標注,并兼容常規平面類別評測。
這些設計使 LEVIRDetNet 不僅 “看得多”,也能更好地理解遙感圖像中的尺度變化、目標密度和類別層級結構。
![]()
直接橫掃 9 個外部基準
為了驗證模型的真實泛化能力,團隊采用了嚴格的 target-training-free cross-benchmark 評測設置:模型只在 LEVIRDet-159 上訓練一次,隨后直接測試在 9 個外部遙感目標檢測基準上,不使用目標數據集的訓練圖像、標注或微調。
這一設置比常規監督評測更加嚴格。常規方法通常需要在每個目標數據集上重新訓練或微調,而 LEVIRDetNet 則以單一模型、單套權重直接遷移到不同數據集。
結果顯示,LEVIRDetNet 在 9 個外部基準上均取得第一名,平均主指標 AP 達到 80.56%,相比最強的全監督競爭方法平均提升 5.02 mAP。在與開放集檢測和 grounding 模型的對比中,LEVIRDetNet 也展現出更穩定的精確率和召回率,特別是在實際應用常用的置信度閾值下表現更可靠。
這說明,LEVIRDetNet 并不是在單一數據集上 “刷榜”,而是在跨類別體系、跨空間分辨率、跨傳感器平臺的復雜設置下,展現出遙感檢測基礎模型應有的泛化能力。
![]()
![]()
![]()
遙感目標檢測邁向 “通用模型” 階段
LEVIRDet 的發布,標志著遙感目標檢測正在從 “小規模專用數據集 + 單任務模型” 的階段,走向 “大規模統一數據體系 + 通用基礎模型” 的新階段。
對于科研社區而言,LEVIRDet-159 提供了一個覆蓋類別更廣、標注更密集、來源更多樣、協議更統一的大規模數據基礎。對于模型研究而言,LEVIRDetNet 展示了如何將遙感領域知識融入檢測基礎模型,包括 GSD、場景密度、目標尺度和類別層級等關鍵因素。
未來,隨著完整圖像、標注、源許可證清單、代碼和訓練模型的開放,LEVIRDet 有望進一步推動通用遙感目標檢測、細粒度遙感識別、跨域遙感解譯和遙感視覺基礎模型的發展。
在真實地球觀測場景中,模型需要面對的從來不是單一數據集,而是多源、多尺度、多類別、多任務并存的復雜世界。LEVIRDet 的目標,正是讓遙感目標檢測模型從 “適配一個基準”,走向 “理解真實世界”。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.