剛剛，首個空間原生的具身視覺基模開源！機器人更會看真實世界了

金磊 發自 凹非寺
量子位 | 公眾號 QbitAI

這一次，機器人更能看懂我們的真實世界了。

能看懂到什么程度？

我們直接來看一個效果：

視頻地址：
https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

視頻中最左側的是我們真實世界的畫面效果；中間的視頻是未經算法美化的原始深度圖，很明顯，杯子的輪廓是破碎，部分杯壁和背景是混在一起的，香檳塔也像是被挖掉了不少空洞，幾乎看不出形狀輪廓……

但現在機器人看世界就不一樣了，從最右側的視頻中我們能看到，杯子的邊界、層級和整體結構更完整，頂部杯子、酒瓶、杯塔之間的空間關系變得更加清楚，甚至連很細的透明水柱都清晰可見。

或許有小伙伴要問了，看得差不多不就行了？

非也，非也。

這類差異放到機器人身上，如果它要去抓一個杯子，邊界看不準，就可能抓偏；如果它要在家庭、商場、工廠里持續移動，深度結果一直破碎，后面的規劃和控制都會跟著抖。

而這，便是螞蟻靈波剛剛發布LingBot-Vision和LingBot-Depth2.0的核心原因：

• LingBot-Vision：是面向機器人真實任務的空間原生視覺基模，負責給機器人打一個更懂物理世界的視覺底座；
• LingBot-Depth 2.0 則是基于LingBot-Vision做出的空間感知模型，把這個視覺底座進一步轉化為更穩定的深度結果。

研究一出，也是引發了不少網友的關注，他們紛紛直呼：

玻璃、透明物體才是機器人視覺的噩夢；這是重要的里程碑。

一言蔽之，對于具身視覺來說，看得見還只是第一步；看得準，才有機會真正行動起來。

機器人看世界，最怕“差一點”

雖然具身智能這幾年確實很火，但真把它們丟進真實場景的時候，我們往往會發現很多問題會迅速回到最基礎的一層：

視覺感知穩不穩。

第一類老大難的問題，就是透明和反光材質。

剛才的香檳塔就是典型例子，透明杯壁在RGB畫面里能看到，但深度傳感器和深度模型常常會在這里不穩定：有的地方補不上、有的邊緣粘在一起、有的區域直接空掉。

LingBot-Depth 2.0的輸出更像是在幫機器人補上一層穩定的空間骨架，是盡量在把杯口、杯壁、杯身之間的幾何關系保持住。

這對于機器人的抓取任務來說，可以說是非常關鍵的。

因為機械臂要抓杯子，并不只需要知道“這是杯子”。它還要知道杯子的邊界、開口方向、可接近位置，以及手爪靠近時會不會碰到旁邊那一層杯子。

就像昨天螞蟻靈波提前放出的預告片里，機器人首先看到帶有透明水柱的清晰深度圖，知道水在哪里，才能準確將水壺推到水柱下，繼而接滿一壺水。

視頻地址：
https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

第二類難點，是小目標和遠距離目標。

在下面這個例子里，原始視頻是一只狗狗在戶外追逐一個網球，遠處的狗狗已經算是不大的目標了，網球在整個畫面里更是顯小：

視頻地址：
https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

從效果上來看，中間的raw depth基本是糊得一塌糊涂，完全分不清任何主體，跟別提小如網球的目標了。

反觀LingBot-Depth 2.0這邊的結果，地面、遠處墻體、網球、樹木和狗的位置關系更清楚。

這個能力放到移動機器人、巡檢機器人、人形機器人身上，價值會更直接。

移動機器人往前走時，不能等到障礙物貼臉了才反應。它需要提前看到遠處的人、寵物、路障、貨架邊緣，然后把這些信息交給導航和規劃系統。

如果遠距離深度一直不穩定，機器人就很容易一會兒誤以為前方沒東西，一會兒又突然發現障礙物，動作自然也會變得遲疑甚至危險。

第三類難點，是室內復雜場景。

比如家里的玻璃門、窗簾、電視柜、陽臺雜物，光照還會隨著鏡頭移動不斷變化。以往視覺模型的結果經常會在玻璃、強光、陰影、邊緣交界處出現大片破碎和空洞：

視頻地址：
https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

而LingBot-Depth 2.0的結果則是更連續，墻面、玻璃門、窗簾、地面和近處物體之間的空間層次保留得更完整。

這類任務對于家庭服務機器人來說是比較重要的，畢竟家庭環境中的東西往往擺放很隨意，機器人如果要在這種環境里送水、拿東西、避讓人和家具，就需要一個足夠穩定的空間輸入。

第四類難點，是弱光、遮擋和雜亂。

在下面這個室內走廊和房間視頻里，門框、墻角、窗簾、桌面、電視等結構交錯出現。傳統視覺模型的效果，邊緣位置容易冒出噪點和缺口；而LingBot-Depth 2.0結果則更穩定，墻面、門框、桌面邊緣更連續。

視頻地址：
https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

這些案例合在一起，其實指向的是同一個問題，即機器人看世界，不能只靠語義理解。

它需要的視覺能力更接近一種空間常識，比如哪里是邊界、哪里是空的、哪里能走，哪個物體還離我很遠等等。

這也是LingBot-Depth 2.0要體現的幾個重點：

邊緣更清晰、物體輪廓更完整、細小目標更穩定、遠距離目標更可靠，在復雜材質和復雜光照下，深度圖破碎和缺失更少。

視頻地址：
https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

但更關鍵的問題來了，為什么這些提升會發生？

答案要回到LingBot-Vision。

空間原生視覺，為什么要從“邊界”學起？

傳統視覺基礎模型的發展，過去很長時間都在圍繞讓模型更好地理解圖像內容這個目標。

但也正如我們剛才提到的，機器人眼里的世界是不太一樣的。

一只貓不只是“貓”這個類別，機器人還要知道貓離自己多遠，身體邊界在哪里，會不會突然移動，桌子邊緣和貓之間有沒有安全距離。

所以，具身智能需要的視覺底座，必須更重視幾何結構。

而幾何結構里，一個很重要的入口，就是邊界。

邊界不只是物體輪廓，它往往同時意味著深度突變、遮擋關系、空間分割和可交互區域。比如杯口的邊緣、門框的邊線、桌面的輪廓、行人和背景之間的分界，都會影響機器人后續的移動、避障和抓取。

LingBot-Vision的核心思路，就是把邊界和空間結構放到預訓練目標里。

為此，團隊專門提出了masked boundary modeling，可以理解成一種讓模型專門學習難點的自監督訓練方式。

普通的Mask modeling更像是隨機遮住圖像中的一塊，讓模型猜回來。問題在于，隨機遮住的地方可能只是墻面、天空、地板這類信息密度不高的區域。模型猜對了，也未必真正學到了空間結構。

LingBot-Vision的做法更有針對性。

它會讓教師模型在線發現圖像里的邊界token，再把這些邊界token強制加入學生模型的mask里。換句話說，模型不能只在容易的平坦區域刷題，而要去學習那些更難、更有空間信息量的邊界區域。

這就是boundary-forcing。

更細一點看，邊界token還會被分配幾何目標。模型不只學習語義，也學習邊界場，也就是那些能描述邊界位置、方向和幾何關系的信號。

為了讓這種訓練更穩定，團隊還引入了分類化的邊界場表示，以及a-contrario檢驗，減少把噪聲誤當成真實結構的情況。

說白了，LingBot-Vision是在預訓練階段就告訴模型別只盯著“這是什么”，也要學會“它的邊界在哪、形狀如何、和周圍空間是什么關系”。

這也是它和DINOv3這類通用視覺基礎模型的關鍵差異之一。

雖然LingBot-Vision也建立在DINO自蒸餾范式的基礎上，但LingBot-Vision額外引入了Boundary forcing機制，讓模型在掩碼建模過程中更關注形狀和物體邊界相關結構。

從結果來看，LingBot-Vision是一個約10億參數級的ViT，通過純自監督訓練，在密集空間任務上可以匹敵或超過參數量最多大約7倍的視覺基礎模型；在NYU-Depth v2上，取得所有對比模型中的最佳精度，包括7B DINOv3在內。

更有意思的是，它的蒸餾學生模型也很能打。

論文顯示，0.3B學生模型在NYU-Depth v2上能達到與7B DINOv3相當的精度，參數量大約少23倍。對機器人來說，這一點很現實——不是所有機器人都能背著一個巨大的模型到處跑，端側部署、算力成本、延遲，都得算賬。

LingBot-Depth 2.0則是這條技術路線的一個直接驗證。

它基于LingBot-Vision升級，在12個深度補全benchmark上取得領先結果。更重要的是，論文里提到，隨著下游訓練數據增加，LingBot-Vision編碼器帶來的優勢會進一步擴大。

換言之，底座如果更懂空間，后面的深度模型吃更多數據時，優勢不會被沖淡，反而可能越訓練越明顯。

所以LingBot-Vision和LingBot-Depth 2.0的關系，不能簡單理解成“一個視覺模型加一個深度模型”。

前者是空間原生視覺底座，后者是空間感知能力的落地驗證。Depth2.0之所以能在透明、反光、遠距離、小目標、復雜室內場景里表現更穩，背后支撐它的，是LingBot-Vision在預訓練階段就更重視邊界和幾何結構。

具身要真正上崗，視覺感知很重要

或許提到具身智能，最容易被我們get到的技術是大模型接入機器人，讓它們能聽懂指令、規劃任務，并且和人對話。

但有一說一，當他們真進到工廠、倉庫、商場、家庭這些環境里，視覺亦然是非常重要的一個環節。

因為視覺一旦不穩，后面的鏈條都會受影響。

移動機器人可能繞不開障礙物，機械臂可能抓偏，服務機器人可能誤判門、墻、玻璃和人之間的位置，人形機器人也很難在復雜環境中穩定行動。

所以，具身智能真正落地，也需要視覺底座、空間感知、運動控制、硬件傳感器一起往前走。

這也是此次螞蟻靈波開源LingBot-Vision和發布LingBot-Depth 2.0的意義所在。

他們把機器人需要的視覺和空間感知能力，做成一個更容易復用的底座。對機器人企業、開發者和研究機構來說，這有助于降低使用門檻，也能讓下游團隊更快驗證移動、避障、抓取等真實任務。

從場景看，這類能力可以服務移動機器人、機械臂、倉儲物流、工業巡檢、服務機器人、人形機器人、3D視覺設備和空間計算等方向。

此外，LingBot-Depth 2.0已通過奧比中光深度視覺實驗室認證。雙方也圍繞EGO-RGBD數采設備、SDK和后續一體化相機產品展開合作，說明這套能力正在從論文，繼續走向硬件與產品集成。

當然，視覺底座升級不會讓機器人一夜之間無所不能。傳感器差異、算力限制、場景泛化、控制精度和成本，都還需要繼續打磨。

但趨勢已經很清楚：具身智能的競爭，正在往更底層走。畢竟，機器人要進入真實世界，第一步就是看準。

當機器人開始更好地理解空間，具身智能離真正上崗，也就更近了一步。

模型權重：
https://huggingface.co/collections/robbyant/lingbot-vision
https://www.modelscope.cn/collections/Robbyant/LingBot-Vision

代碼：
https://github.com/robbyant/lingbot-vision

技術報告：
https://arxiv.org/abs/2607.05247

項目主頁：
https://technology.robbyant.com/lingbot-vision