GaussianDWM：用3D高斯表示統(tǒng)一自動(dòng)駕駛場(chǎng)景理解與多模態(tài)生成

自動(dòng)駕駛世界模型的研究目標(biāo)已經(jīng)從單純預(yù)測(cè)未來(lái)視覺(jué)幀，擴(kuò)展到構(gòu)建可用于場(chǎng)景理解、空間定位和后續(xù)決策的世界表示。如果模型只能生成外觀上合理的未來(lái)圖像，卻無(wú)法回答場(chǎng)景中有哪些目標(biāo)、目標(biāo)位于何處，以及不同視角下的空間結(jié)構(gòu)如何變化，那么它仍然缺少對(duì)三維駕駛環(huán)境的顯式建模能力。

GaussianDWM 關(guān)注的正是這一問(wèn)題：在統(tǒng)一的 3D 場(chǎng)景表示中同時(shí)支持理解任務(wù)和生成任務(wù)。

• 作者：Tianchen Deng, Xuefeng Chen, Yi Chen, Qu Chen, Yuyao Xu, Lijin Yang, Le Xu, Yu Zhang, Bo Zhang, Wuxiong Huang, Hesheng Wang 機(jī)構(gòu)：上海交通大學(xué)、清華大學(xué)、曠視科技、Mach Drive
• 論文名稱：GaussianDWM: 3D Gaussian Driving World Model for Unified Scene Understanding and Multi-Modal Generation
• 開(kāi)源地址：https://github.com/dtc111111/GaussianDWM

GaussianDWM 試圖把這兩件事放到同一個(gè)框架里：一邊做駕駛場(chǎng)景理解，一邊完成空間生成、時(shí)間生成和 RGB-D 生成。它的核心選擇是把 3D Gaussian scene representation 放在世界模型中間，用同一種 3D 表示同時(shí)承載幾何、外觀和語(yǔ)言語(yǔ)義。

面向場(chǎng)景理解的自動(dòng)駕駛世界模型

過(guò)去幾年，Driving World Model 的討論大多圍繞生成能力展開(kāi)。一個(gè)典型目標(biāo)是：給定當(dāng)前或歷史觀測(cè)，模型預(yù)測(cè)未來(lái)的駕駛場(chǎng)景，或者在車輛發(fā)生位姿變化時(shí)合成新的視角。這類能力對(duì)仿真、數(shù)據(jù)生成和閉環(huán)評(píng)測(cè)都很有價(jià)值，但它并沒(méi)有覆蓋自動(dòng)駕駛系統(tǒng)真正需要面對(duì)的全部問(wèn)題。

在真實(shí)駕駛場(chǎng)景里，模型還要能回答更加結(jié)構(gòu)化的問(wèn)題。例如，場(chǎng)景中是否存在某個(gè)被語(yǔ)言描述的目標(biāo)？目標(biāo)在圖像或 3D 空間里的位置在哪里？當(dāng)前駕駛環(huán)境能否支持后續(xù)規(guī)劃？這些問(wèn)題要求模型不僅能夠從圖像中提取視覺(jué)特征并生成結(jié)果，還需要把外觀、幾何結(jié)構(gòu)和語(yǔ)義信息組織為一種可被語(yǔ)言模型讀取和利用的場(chǎng)景表示。

這也是 GaussianDWM 的出發(fā)點(diǎn)。現(xiàn)有一些統(tǒng)一框架依賴 BEV 或 depth 特征做 feature-level alignment，但這種對(duì)齊更多發(fā)生在中間特征層，模型未必真正擁有一個(gè)統(tǒng)一的 3D 場(chǎng)景表征。GaussianDWM 選擇以 3D Gaussians 作為場(chǎng)景的底座，希望讓同一組表示既能進(jìn)入 LLM 做理解，也能作為條件進(jìn)入生成模塊。

把 3D Gaussian 變成 LLM 能讀懂的世界表示

GaussianDWM 的整體框架可以拆成三個(gè)部分：World Tokenizer、Scene Understanding 和 Multi-modal Generation。三個(gè)模塊之間不是簡(jiǎn)單串聯(lián)，而是圍繞同一個(gè) 3D Gaussian 表示展開(kāi)：先把多視角圖像組織成帶語(yǔ)言語(yǔ)義的高斯場(chǎng)，再把這些高斯壓縮、采樣并投影到 LLM 的 embedding space，最后用 LLM 提取出的 world knowledge 繼續(xù)指導(dǎo) RGB-D 生成。

第一步是 Language-enhanced 3D Gaussian Tokenizer。傳統(tǒng) 3D Gaussian primitive 通常關(guān)注位置、不透明度、尺度、旋轉(zhuǎn)等幾何和外觀屬性。GaussianDWM 在此基礎(chǔ)上加入語(yǔ)言特征，使每個(gè) Gaussian primitive 不再只是一個(gè)可渲染的小單元，也成為一個(gè)攜帶語(yǔ)義信息的 3D token。

這些語(yǔ)言特征來(lái)自 CLIP，并繼承 SAM 提供的層次語(yǔ)義。為了控制存儲(chǔ)和計(jì)算開(kāi)銷，方法中還使用 scene-wise language autoencoder，將原本 512 維的 CLIP feature 壓縮到 3 維。這樣做的目的不是把語(yǔ)言信息變成一個(gè)孤立的附加項(xiàng)，而是讓語(yǔ)義真正落在 3D 場(chǎng)景中的空間位置上。

不過(guò)，構(gòu)建出高斯場(chǎng)只是第一步。LLM 并不能直接處理一個(gè)密集的 3D Gaussian 場(chǎng)，因此 GaussianDWM 引入 Gaussian Projector 和 task-aware sampling。Projector 負(fù)責(zé)把位置、opacity、scale、rotation 以及 language feature 映射到 LLM embedding space；sampling 則根據(jù)任務(wù)選擇更合適的 Gaussian tokens。

在全局理解任務(wù)中，模型使用 uniform sampling 和 top-k sampling 保留場(chǎng)景整體信息；在 2D/3D visual grounding 中，采樣會(huì)參考 text query 與 Gaussian feature 的 similarity，從稠密高斯中挑出更相關(guān)的部分。主實(shí)驗(yàn)中，模型從場(chǎng)景里采樣 4096 個(gè) Gaussian tokens 輸入 LLM。這個(gè)數(shù)量本身也說(shuō)明了一個(gè)現(xiàn)實(shí)取舍：3D 表示足夠豐富，但必須先變得緊湊，語(yǔ)言模型才有可能穩(wěn)定地使用它。

理解結(jié)果反過(guò)來(lái)參與生成

GaussianDWM 的另一個(gè)關(guān)鍵設(shè)計(jì)，是沒(méi)有把理解和生成完全切開(kāi)。生成模塊采用 dual-condition generation，同時(shí)接收 low-level condition 和 high-level world knowledge。前者主要來(lái)自 sparse RGB/depth condition，負(fù)責(zé)約束紋理和幾何；后者來(lái)自 LLM 提取出的 world knowledge，提供更高層的語(yǔ)義與空間先驗(yàn)。

這種設(shè)計(jì)與駕駛場(chǎng)景中的多層次約束相匹配。low-level condition 主要由 sparse RGB/depth 提供，用于約束局部紋理和幾何結(jié)構(gòu)，但對(duì)目標(biāo)關(guān)系、空間布局和語(yǔ)義一致性的表達(dá)能力有限。high-level world knowledge 來(lái)自 LLM 的場(chǎng)景理解結(jié)果，能夠?yàn)樯蛇^(guò)程補(bǔ)充語(yǔ)義和空間先驗(yàn)。GaussianDWM 將二者結(jié)合，用 low-level condition 保持視覺(jué)細(xì)節(jié)和幾何約束，用 high-level world knowledge 強(qiáng)化場(chǎng)景關(guān)系與語(yǔ)義一致性，從而服務(wù)空間生成、時(shí)間生成和 RGB-D 生成。

在 NuInteract 上，

3D Gaussian 帶來(lái)更強(qiáng)的場(chǎng)景理解

為了驗(yàn)證場(chǎng)景理解能力，GaussianDWM 在 NuInteract 上進(jìn)行了評(píng)估。相比只依賴傳統(tǒng)視覺(jué)或語(yǔ)言特征的做法，3D Gaussian 給模型提供了更加明確的空間結(jié)構(gòu)，也讓視覺(jué)定位任務(wù)獲得了明顯收益。

從主表結(jié)果看，GaussianDWM 的平均指標(biāo)達(dá)到 59.23，高于 DriveMonkey 的 52.12。在 2D visual grounding 上，mAP 從 19.47 提升到 34.95；在 3D visual grounding 上，mAP 從 34.53 提升到 52.78。這組結(jié)果比較直接地說(shuō)明，高斯表示并不是只對(duì)渲染或生成有用，它也能幫助 LLM 更好地理解 3D 駕駛環(huán)境。

在 nuScenes 上，

統(tǒng)一表示也服務(wù) RGB-D 空間生成

多模態(tài)生成部分則主要在 nuScenes 上驗(yàn)證。GaussianDWM 關(guān)注的不只是 RGB 圖像，還包括 RGB-D generation，這使得結(jié)果需要同時(shí)面對(duì)外觀質(zhì)量和空間幾何的一致性。

在空間生成任務(wù)中，當(dāng)視角位移為 ±1m 時(shí)，GaussianDWM 的 FID/FVD 為 8.36/44.50；當(dāng)視角位移為 ±2m 時(shí)，F(xiàn)ID/FVD 為 11.27/68.17。與 PVG、StreetGaussian、DiST-S 等方法相比，GaussianDWM 在小到中等位移下取得了更低的 FID/FVD。對(duì)于自動(dòng)駕駛場(chǎng)景來(lái)說(shuō)，這類結(jié)果的意義在于：模型不是單純做一張新圖，而是在盡量維持場(chǎng)景 3D 關(guān)系的前提下完成視角變化。

消融實(shí)驗(yàn)：Gaussian、采樣和

World Knowledge 都是支撐模型能力的關(guān)鍵部分

論文中的消融實(shí)驗(yàn)進(jìn)一步解釋了每個(gè)設(shè)計(jì)的作用。去掉 Gaussian 后，模型平均指標(biāo)為 53.32；加入 Gaussian 并使用 similarity sampling 后，平均指標(biāo)提升到 59.23。這個(gè)差距說(shuō)明，3D Gaussian 在理解任務(wù)中提供的不是可有可無(wú)的額外信息，而是能夠改變模型輸入質(zhì)量的核心表示。

在生成任務(wù)上，dual-condition 的作用也比較清楚。只使用 low-level condition 時(shí)，±1m 下的 FID 為 10.12；加入 high-level world knowledge 后，F(xiàn)ID 降到 8.36。更大的視角變化下，world knowledge 的貢獻(xiàn)更加明顯：在 ±4m 條件下，F(xiàn)ID 從 21.79 降到 18.91。換句話說(shuō)，當(dāng)?shù)蛯右曈X(jué)條件不足以覆蓋更大空間變化時(shí)，高層語(yǔ)義和空間先驗(yàn)開(kāi)始發(fā)揮更重要的作用。

視頻展示：把生成能力放到動(dòng)態(tài)場(chǎng)景中看

視頻鏈接：https://mp.weixin.qq.com/s/osoYZr1dCwceHv-0s7ZIsg?click_id=125

Overall visual walkthrough

視頻鏈接：https://mp.weixin.qq.com/s/osoYZr1dCwceHv-0s7ZIsg?click_id=125

Spatial generation

視頻鏈接：https://mp.weixin.qq.com/s/osoYZr1dCwceHv-0s7ZIsg?click_id=125

Temporal generation

視頻鏈接：https://mp.weixin.qq.com/s/osoYZr1dCwceHv-0s7ZIsg?click_id=125

Future prediction grid

Long-sequence prediction

結(jié)語(yǔ)：統(tǒng)一駕駛世界模型

需要可生成，也需要可查詢

GaussianDWM 的核心觀點(diǎn)可以概括為一句話：自動(dòng)駕駛世界模型不應(yīng)只追求生成未來(lái)畫面，也需要形成一個(gè)能被理解、被查詢、被用于定位和規(guī)劃的 3D 世界表示。3D Gaussian 在這里扮演了連接器的角色，它把幾何、外觀和語(yǔ)言語(yǔ)義放到同一個(gè)場(chǎng)景表示中，再通過(guò) task-aware sampling 和 Gaussian Projector 進(jìn)入 LLM。

在這個(gè)框架下，LLM 不只是負(fù)責(zé)回答問(wèn)題，也會(huì)提取 world knowledge feature，并把理解結(jié)果繼續(xù)交給生成模塊使用。NuInteract 和 nuScenes 上的結(jié)果表明，這種統(tǒng)一表示同時(shí)改善了場(chǎng)景理解和多模態(tài)生成。對(duì)于自動(dòng)駕駛世界模型來(lái)說(shuō)，這可能比單純追求更清晰的視頻更重要：模型最終要服務(wù)的是一個(gè)會(huì)移動(dòng)、會(huì)交互、需要解釋當(dāng)前世界并預(yù)測(cè)未來(lái)世界的系統(tǒng)。