編輯|Panda
6 月 8 日,工信部和國資委聯合發文,要求機器人今年底從「表演模式」轉向「作業模式」。但斯坦福《AI Index 2026》報告給出的現實卻不樂觀:機器人在實驗室任務 RLBench 上成功率已近 90%,但到了包含 1000 項真實家庭活動的 BEHAVIOR-1K,當前 SOTA 模型成功率僅有12.4%
「表演模式」考驗動作,「作業模式」則考驗智能;要讓智能真正走進真實世界,首先離不開可靠的空間感知,而這正是當前機器人視覺模型普遍面臨的短板。就連參數量高達 7B 的 DINOv3 也未能幸免:長時間訓練后,模型的感知能力會下滑,還得靠 Gram Anchoring 來補救。說到底,這些模型的目標大多是為了看懂圖片里有什么(語義),但機器人真正需要的是理解距離、邊界、空間關系,以至于 SOTA 模型 DINOv3 也需要「邊蓋樓邊補地基」。
就在今天,螞蟻靈波從另一條路線給出了解答:發布新一代空間感知模型 LingBot-Depth 2.0,并開源面向具身智能的視覺基礎模型 LingBot-Vision
![]()
https://mp.weixin.qq.com/s/3C6ndYsu5T3h6l6hfiZHsA
這條路線的核心是選擇在打地基時就把空間結構原生刻進訓練目標里,也即「空間原生」。
![]()
- 技術報告:Vision Pretraining for Dense Spatial Perception
- 報告地址:https://arxiv.org/abs/2607.05247
- 項目頁面:https://technology.robbyant.com/lingbot-vision
- 代碼庫:https://github.com/robbyant/lingbot-vision
- Hugging Face:https://huggingface.co/collections/robbyant/lingbot-vision
- ModelScope:https://www.modelscope.cn/collections/Robbyant/LingBot-Vision
LingBot-Vision:全球首個空間原生視覺基礎模型
過去幾年,主流視覺基礎模型在決定「蓋住哪塊、猜哪塊」時,用的都是隨機遮蓋。而螞蟻靈波的核心洞察是:這個決定不該隨機做
圖像里其實有最難猜、信息量最大的地方:物體的邊界。因為物體邊界的兩側語義不同、結構斷裂,不能使用周圍像素直接預測。
基于此觀察,螞蟻靈波提出了「以邊界為中心的掩碼建模(Boundary-centric Masked Modeling)」:讓模型自己在訓練過程中實時預測圖像里的邊界在哪,然后強制把這些邊界 patch 塞進被遮蓋的集合里,逼著模型只能靠上下文去重建物體的幾何結構。
![]()
基于一個簡化示例場景的「以邊界為中心的掩碼建模」:(a)輸入圖像及其 patch 網格;(b)隨機掩碼與內容無關;(c)邊界強制掩碼將所有帶邊界的 patch 都加入隨機掩碼中,因此場景的結構恰好是學生模型必須重建的內容。(d)用于監督邊界 token 的邊界場,編碼為每個像素在離散距離和方向類別上的分類分布。在預訓練過程中,邊界場由教師模型在線預測,無需人工標注或外部檢測器;每個被掩碼的 token 都遵循語義自蒸餾目標,而 boundary token 還需額外匹配分類邊界目標。
這里有一個有意思的「自舉」難題:一個從零開始訓練的模型,一開始根本不知道邊界在哪,又怎么決定該遮住哪里?
螞蟻靈波給出的解法相當巧妙:只要給定一組稀疏的角點,哪怕邊界場的具體數值是完全隨機生成的,解碼出來的線段依然連貫合理。
![]()
這里以兩幅圖像為例,分別繪制了五組獨立的邊界場,其取值均勻隨機采樣,并基于固定的角點集合,從每組邊界場中解碼出線段。盡管這些邊界場本身不攜帶任何學習到的信息,但每次隨機采樣解碼出的線段都連貫一致,且幾乎完全相同——這是因為角點錨定了解碼過程。
換句話說,邊界結構可以先靠「猜個大概」的角點撐住場子,后面再隨著訓練慢慢把細節填準。
同時,為了避免直接回歸連續的幾何數值導致訓練坍縮,螞蟻靈波把邊界預測轉成了一個分類問題,并引入統計學上的「a-contrario 檢驗」,自動過濾掉不夠顯著的偽邊界,保證模型自己生成的訓練目標足夠干凈、不會把噪聲也當成結構學進去。
![]()
LingBot-Vision 通過「以邊界為中心的掩碼建模」學習密集表示的 demo。每行從左到右依次為:輸入圖像;凍結的教師模型的 patch token 的 PCA 投影;從模型自身邊界場預測中解碼出的密集線段提議,經 a-contrario 驗證后得到的 boundary token(粉色),疊加在驗證通過的提議的累積響應之上;以及九個 boundary token 查詢(紅色十字,通過在特征空間中最遠點采樣選取)與所有 patch token 之間的余弦相似度圖。學習到的表示同時承載了語義分組和幾何結構。
只用 1/10 的數據、不到 1/3 的訓練量
基于這套方法,螞蟻靈波訓練出了LingBot-Vision:一個約 1.1B 參數的 ViT-g/16 模型。
其訓練效率尤其值得重點強調:整個語料庫約1.61 億張圖片,從 20 億張原始圖片中篩選而來,規模上比 DINOv3 用到的 16.89 億張圖片小了一個數量級;訓練迭代量也不到 DINOv3 的三分之一。也就是說,LingBot-Vision 的訓練范式比 DINOv3 高效很多!
盡管如此,LingBot-Vision 和 DINOv3 其實不是兩條互相取代的技術路線之爭。
DINOv3 本身是一項相當優秀的工作,LingBot-Vision 的視覺預訓練同樣建立在 DINO 系列開創的自蒸餾(self-distillation)范式之上。
兩者真正的分野,落在掩碼建模這一步:DINOv3 在決定「遮住哪塊 patch」時是完全隨機的,不引入任何跟圖像幾何結構相關的約束;LingBot-Vision 則引入了「邊界強制(Boundary Forcing)」機制,即訓練過程中主動識別信息量最大的邊界區域,故意把這些 patch 塞進被遮蓋的集合,逼著模型必須同時學會語義和邊界幾何兩套目標,從而學到與物體形狀真正相關的視覺表征規律。
這個差異也體現在了一系列公開基準上。
以 1.1B 參數量,比肩 7B 的 DINOv3
螞蟻靈波用 DINOv3 作為「強基線」做了系統對比,而 LingBot-Vision 的表現著實亮眼。
深度估計上,LingBot-Vision 表現最優:在 NYUv2 上,0.296 的 RMSE 勝過參數量是其 7 倍的 DINOv3(0.309)!在 KITTI 上,LingBot-Vision 也是 2B 參數規模以下最強模型。
![]()
分割和視頻任務上同樣表現卓越:在三個分割基準上,LingBot-Vision 與 DINOv3 蒸餾出來的 DINOv3 ViT-H+(0.8B)基本打平,同時以超 4 個百分點的優勢甩開 DINOv2;在視頻目標分割上,無需任何微調或時序訓練,LingBot-Vision 的表現同樣逼近頂級蒸餾模型。
![]()
分類任務是相對短板:在 ImageNet 圖像分類上,LingBot-Vision 確實落后于 DINOv3 和 DINOv2。技術報告解釋說:這是訓練目標帶來的權衡,即模型把更多「注意力」投入到了局部幾何結構上,而非語義。
![]()
這與其「空間原生」的設計初衷一致:機器人任務里,「這個物體離我多遠、邊界在哪」比「這張圖屬于哪個類別」更重要。
![]()
一段 16 倍速的 Demo,對于接水任務,機器人并不真正需要了解水瓶的材質是玻璃還是樹脂,更需要的是理解水瓶與水龍頭及其開關之間的空間關系
螞蟻靈波還把 LingBot-Vision 旗艦模型蒸餾成了ViT-GViT-LViT-BViT-S幾檔,供不同部署場景選擇。其中一個數字尤其值得關注:蒸餾后僅 0.3B 參數的 ViT-L 學生模型,在 NYUv2 深度估計上已經追平 7B 的 DINOv3,而它們的參數量相差約 23 倍!
![]()
說到底,DINOv3 和 LingBot-Vision 面對的是同一條自蒸餾范式共有的老問題:如何在漫長訓練中不丟失幾何結構?
只是前者選擇在訓練后期用 Gram Anchoring 回頭校準,后者選擇把這件事在訓練目標設計的第一步就定好(空間原生)。二者殊途,但都指向同一個行業信號:空間結構正在成為視覺基礎模型評價體系里越來越重要的一環。
一個模型,覆蓋全部核心視覺任務
除了在具體指標上和 DINOv3 掰手腕,LingBot-Vision 還有一個容易被數字掩蓋的優勢:一個模型覆蓋了分類、檢測、分割、實例理解、深度估計、邊界感知、空間結構理解等幾乎全部核心視覺任務
DINO 系列能做的事情它都能做,同時還增強了深度估計等可用于具身相關任務的能力。
![]()
掩碼邊界建模:讓邊界從零涌現,并驅動稠密視覺 Token 學習
對機器人系統來說,這意味著不再需要為每個視覺子任務單獨堆一個模型、再各自維護:分類、檢測、分割、深度可以共享同一套視覺表征,這對本就要在有限算力下塞進多種感知能力的機器人平臺,可以實打實地節省工程成本。
LingBot-Depth 2.0:讓機器人具備更可靠的深度感知能力
LingBot-Vision 打好了空間理解這塊地基,而 LingBot-Depth 2.0 就是地基上的第一棟樓。
今年 1 月,螞蟻靈波開源了 LingBot-Depth 1.0,重點攻克反光、透明物體的識別。
思路很巧:商用深度相機在反光、透明、無紋理表面上測不到深度,這些「盲區」通常被當作噪聲丟棄,但螞蟻靈波反過來把它們當作一種天然的掩碼信號,因為這些正是最需要模型「靠上下文推理」補全幾何結構的地方。
螞蟻靈波據此提出「掩碼深度建模(Masked Depth Modeling/MDM)」:把 RGB 圖像和原始深度圖拆成兩路 token,深度傳感器測不到的位置被強制遮蓋,讓模型學會僅憑視覺上下文補全深度。簡單來說,這是掩碼自編碼器的一種 RGB-D 變體版本。
LingBot-Depth 2.0 保持了掩碼深度建模這套訓練配方本身不變,只調整了兩個外部條件:
第一,把編碼器從 DINOv2 換成了 LingBot-Vision
LingBot-Depth 2.0 的訓練管線與上一代一致,唯一變量是編碼器初始化,結果顯示LingBot-Vision 在幾乎所有基準上都優于 DINOv2 和 DINOv3 初始化,且優勢在最難的場景(大面積深度缺失的「block-mask」模式)上最明顯,例如在 DIODE-Indoor 數據集上,ViT-L 規模下 RMSE 從 DINOv2 初始化的 0.152 降到 0.094,ViT-g 規模下從 0.118 降到 0.083。
![]()
第二,訓練數據規模從 300 萬擴大到 1.5 億
數據越多越好,沒啥稀奇,但這里有一個更有意思的發現:兩種編碼器初始化的效果都隨數據增長而提升,但卻不是同步提升
DINOv2 初始化在數據量超過 2000 萬之后基本觸頂(D_102 從 0.752 漲到 0.755,幾乎停滯),而 LingBot-Vision 初始化則持續爬升(從 0.777 漲到 0.795)。
![]()
也就是說,好的起點不會被更多數據沖淡優勢,反而會被進一步放大。這對后續想要「砸數據」提升效果的研究團隊是一個值得參考的信號。
實測:16 項測試,12 個最優
在覆蓋大面積缺失(block-mask)和稀疏采樣兩種輸入模式的 8 個公開基準上,LingBot-Depth 2.0(ViT-L 版)在 6 個基準上取得最優 RMSE
![]()
在真實商用相機的實拍數據上,2.0 版本在 8 種配置的 6 種上拿到最優,在透明物體數據集 ClearGrasp 上表現尤其突出,而透明和反光物體歷來是主動式深度傳感的經典難題。
![]()
下面展示了鏡面和玻璃場景的一些定性結果示例:原始傳感器深度在窗戶玻璃、玻璃護欄、反光地面上完全測不到數值,而 LingBot-Depth 2.0 補全出的深度在還原成三維點云后,呈現為平整連續的平面,并且在連續幀之間保持穩定。
![]()
下面展示了對一段真實視頻的深度估計結果,依次為原始視頻、原始傳感器深度和 LingBot-Depth 2.0 估計的深度:
![]()
據了解,LingBot-Depth 2.0 的卓越能力也已經得到了奧比中光深度視覺實驗室的專業認證。
從實驗室到產線
具身智能正在從實驗室驗證走向真實場景。過去,行業更關心機器人能不能聽懂指令、完成演示動作;現在,隨著機器人進入工業、商業服務、物流、家庭乃至空間計算這些真實場景,能否穩定感知復雜環境,正在成為決定能不能真正落地的關鍵。
螞蟻靈波選擇把 LingBot-Vision 核心能力開源,對行業的意義重大:機器人企業和研究機構可以直接使用,不用再從頭訓練一個空間原生的視覺底座;如果這類能力能像今天的通用視覺基礎模型一樣成為行業共用的基礎設施,就能顯著降低下游企業驗證機器人感知、移動和操作能力的門檻。
事實上,LingBot-Depth 2.0 的商業化已經開始:奧比中光已將 LingBot-Depth 2.0 集成進其新一代 EGO-RGBD 數采設備,并已發布相關 SDK;據螞蟻靈波介紹,雙方還計劃在今年年底推出集成 LingBot-Depth 商業版的一體化相機產品
看起來,具身智能行業從「表演模式」到「作業模式」的跨越已經開始:LingBot-Vision用遠小于 DINOv3 的數據和訓練量達到 SOTA 水平證明了「空間原生」不只是一句口號;而LingBot-Depth 2.0則證明了這套視覺底座的能力可以真實遷移、并能隨著下游數據增長而持續放大優勢——而它只是這條遷移路徑上被驗證的第一個例子。
機器人視覺的競爭,正在從「認得出多少類別」轉向「扛不扛得住一次真實的抓取」。而空間原生正是這場競爭里最基礎的那塊地基,至于地基之上能蓋出怎樣的具身智能,還要交給下一步的驗證。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.