為了讓車看懂道路，小鵬給AI造了個“原生大腦”，但仍有兩大短板需要補齊

車東西（公眾號：chedongxi）
作者 ｜ 郭月
編輯 ｜ 志豪

2025年11月5日，小鵬集團董事長兼CEO何小鵬正式宣布公司全面向物理AI轉型，并將2026年明確定性為“物理AI全面量產(chǎn)元年”，從當日高調(diào)官宣轉型至今，一共過去了247天，約8個月的時間。

這8個月里，外界看到的是小鵬在加速 “交卷”—— 不僅接連把產(chǎn)品推向市場，也持續(xù)亮出底層技術底牌。

在小鵬宏大的物理AI敘事中，VLA（視覺語言動作模型）2.0 被定位為整套體系的核心基座：不僅支撐自動駕駛，更是未來人形機器人、飛行汽車等具身智能產(chǎn)品的通用底層能力。

就在最近，小鵬在這個基座上又往前推了一步，發(fā)布了X-Mind，宣稱給自動駕駛裝上了一個能“預見未來”的大腦，解決了車端算力約束下難以清晰表達“思考過程”的難題，它與X-World、X-Foresight共同組成小鵬物理AI基座模型的研發(fā)譜系。

小鵬帶來的到底是一次真正的技術革新，還是只是技術噱頭的包裝？

車東西將以系列的形式來拆解小鵬VLA 2.0，本文為該系列首篇，我們結合小鵬預測世界模型（Predictive World Model, PWM）團隊發(fā)布的論文，把X-Mind的技術原理、實測表現(xiàn)和目前還存在的短板，一條條掰開看。

一、傳統(tǒng)VLA仍為直覺駕駛 “嫁接”世界模型后仍未破局

小鵬團隊在論文中指出當前主流VLA模型的短板：傳統(tǒng)端到端VLA模型本質(zhì)上是一套純反應式映射系統(tǒng)。

▲小鵬發(fā)布論文《X-Mind：面向端到端自動駕駛、基于預測世界模型的高效視覺思維鏈》

簡單來說，就是攝像頭捕捉到什么，模型就直接輸出對應的轉向、加減速指令，不會主動思考這套操作會引發(fā)怎樣的連鎖路況變化，全程沒有對未來交通時序變化的顯式推演環(huán)節(jié)。

該團隊將這套機制的不足總結為兩點：一是模型缺失前瞻物理推理能力，所有駕駛策略僅依托當前瞬時觀測生成，而非對環(huán)境動態(tài)演變的完整理解；二是該訓練模式極易催生捷徑學習——模型只會記憶數(shù)據(jù)表層的畫面-動作匹配關系，繞開了對道路物理因果邏輯的深層學習。

這種”感知→動作”的直接映射，在簡單場景下夠用，但遇到訓練集未覆蓋的長尾場景，比如周邊貨車遮擋視線、雨天路面打滑等情況，模型無法自主推導風險，決策可能失效。

那么問題來了：行業(yè)難道不知道預判的重要性嗎？其實業(yè)內(nèi)早就意識到讓VLA擁有預測未來的能力的重要性。

為了讓智駕系統(tǒng)學會提前想一步，研究者們一直在嘗試把預測世界模型（Predictive World Model, PWM）整合進智駕系統(tǒng)。

但探索來探索去，兩條主流技術路線都撞上了“南墻”。

論文梳理了現(xiàn)有方案的兩條路徑，并指出了各自的問題：

第一種是級聯(lián)式方案，把預判路況和規(guī)劃動作拆成兩個獨立模塊，邏輯框架清晰，但大幅增加運算量，推理延遲嚴重，無法滿足車載實時運行標準。

第二種是末端附加聯(lián)合訓練方案，把路況重建作為輔助任務疊加在網(wǎng)絡末端，但末端任務生成的信號難以有效回傳至大模型深層，模型容易陷入捷徑學習，無法真正建立物理推理能力。

兩條路，一條跑不動，一條學不透。小鵬團隊高調(diào)宣揚的X-Mind，正是試圖解決這一矛盾。

二、X-Mind要怎么做？先“腦補”草圖再開車

X-Mind的核心思路是：不將PWM作為一個外部模塊接入，而是將其內(nèi)化為視覺思維鏈（Visual CoT） ，成為模型內(nèi)部推理流程的一部分。

▲X-Mind的整體架構

X-Mind讓VLA在駕駛動作生成之前執(zhí)行顯式的時空“推演”，讓規(guī)劃出來的路徑考慮到未來交通流的變化，再基于此輸出軌跡。

那么，模型具體要“推演”什么？又要“推演”多遠？

論文給出的答案是：抽象草圖＋12幀——前者為想象的內(nèi)容，后者為想象的范圍。

為什么推演草圖，而不是推演未來高清畫面？其實很好理解，要考慮性價比。

根據(jù)小鵬官方設計的實驗，如果將原始高清圖像作為輸入傳統(tǒng)VLA模型，確實能小幅降低預測誤差、提升預判準度；但代價是額外新增3584個Token，數(shù)據(jù)量暴增，帶來巨大內(nèi)存占用與計算壓力，推理耗時是基礎模型的22倍，推理延遲嚴重。

X-Mind不這么干，它只“腦補”一張草圖——只保留開車用得上的東西的鳥瞰示意圖，這張圖里包含物理場景實體（自車本體、周邊全部動態(tài)車輛/非機動車等障礙物以及車道線、車道邊界、路面輪廓等道路拓撲結構）、動態(tài)交通燈狀態(tài)、導航意圖以及合規(guī)車速。

▲結構化思維草圖的可視化

換句話說，模型推演的不是未來的高清畫面，而是一張包含物理場景和駕駛規(guī)則的俯視草圖——并且這張草圖會連續(xù)變化12幀，形成一個完整的未來場景演變序列。

三、為什么要看未來12幀？長時序推演誤差最小

那問題又來了：預測那么遠干嘛？直接看眼前或者預測未來1幀不就行了嗎？

小鵬技術團隊設置了三組對照實驗來驗證預測時長的選擇：僅重建當前畫面幀，僅預測未來1幀草圖，預測連續(xù)12幀未來草圖。

這些實驗采用兩個評估指標：FID代表評估生成草圖與真實BEV草圖的相似度，分數(shù)越低，生成的鳥瞰草圖越貼近真實道路；ADE代表評估規(guī)劃軌跡與最優(yōu)軌跡的偏差，數(shù)值越低說明開車越穩(wěn)、預判越準。

▲時序預測目標消融實驗

實驗結果顯示：只復刻眼前畫面，F(xiàn)ID數(shù)值最低，草圖畫面清晰度最高，但ADE橫、縱向軌跡誤差全部最高，三組里駕駛規(guī)劃效果最差。這意味著，單純讓模型認識當前畫面，無法讓模型學習車輛動態(tài)變化，對真實行車預判沒有幫助。

僅預測未來1幀草圖，在畫面清晰度輕微下降的同時，橫、縱向軌跡誤差同步降低。哪怕只預判1幀未來畫面，也能讓系統(tǒng)捕捉車流、自車位移時序信息，對軌跡規(guī)劃的作用遠高于靜態(tài)畫面復刻。

而預測連續(xù)12幀未來草圖，長時序推演難度更高，畫面會輕微模糊；但橫向、縱向軌跡誤差全部為三組最低，軌跡規(guī)劃性能最優(yōu)。

論文據(jù)此認為，連續(xù)12幀推演強制模型學習多車交互、障礙物持續(xù)移動、長線導航約束，輸出軌跡最貼合真實駕駛需求。

簡單來說，逼著AI去推演未來12幀的“連續(xù)劇”，哪怕畫面有點模糊，AI也能從中悟出“周圍的車是在變道還是剎停”的動態(tài)邏輯，足夠讓模型“看到”交通流的演變趨勢。

四、算力瓶頸如何突破？兩大絕招破解落地難題

可能還有人好奇：平時開個導航、搜個玩樂地址都怕車機卡頓，在車端算力受限的情況下，這一整套推演要如何完成？X-Mind從兩個方向入手。

1、超級壓縮包——DC-AE深度壓縮自編碼器。

即使推演的是抽象草圖，連續(xù)12幀的數(shù)據(jù)量依然可觀。

為此X-Mind配了一個“超級壓縮包”——深度壓縮自編碼器（DC-AE），專門壓縮這套草圖，將12幀連續(xù)未來抽象草圖壓縮成96個Token，僅保留道路拓撲、交通燈狀態(tài)和導航意圖等核心語義先驗，過濾掉與規(guī)劃無關的紋理干擾，解決了長上下文帶來的計算瓶頸。

2、單層直通引擎——遞歸塊擴散機制。

傳統(tǒng)去噪擴散模型需要數(shù)十輪迭代式去噪采樣步驟，才能生成高保真的未來路況草圖，多次重復前向計算會帶來極高的推理延遲，這套方案對于算力資源受限、要求實時運行的車載場景不具備落地可行性。

為此，X-Mind設計了遞歸塊擴散機制（Recurrent Block Diffusion, RBD），將降噪流程拆分進駕駛大模型的每一層網(wǎng)絡，僅通過單次前向傳播就能輸出12幀完整的長時序未來路況推演畫面。

▲遞歸塊擴散機制整體架構

研發(fā)團隊設計了三組對照實驗：無擴散模塊的基礎模型（Base）、單步去噪擴散方案（Base+Sketch（Single Step））、遞歸塊擴散RBD方案（Base+Sketch（RBD）），采用FID指標量化評估生成畫面視覺質(zhì)量。

▲不同架構范式下性能與推理效率對比

實驗數(shù)據(jù)顯示，RBD的圖像生成質(zhì)量（FID 9.59）顯著優(yōu)于單步去噪方案（FID 67.30），而推理延遲基本持平。

▲白天和夜間場景下RBD的未來空間推演結果

該團隊據(jù)此得出結論：RBD機制打通了高精度時序推理與車載實時落地之間的壁壘，在保留高質(zhì)量未來推演能力的同時，解決了傳統(tǒng)擴散模型延遲過高、無法上車的缺陷。

五、說了半天，X-Mind實戰(zhàn)效果到底怎么樣？

論文里還對比了四類場景表征方案：無世界模型的傳統(tǒng)VLA模型（Base）；傳統(tǒng)VLA疊加原始圖像（Base+Image）；傳統(tǒng)VLA疊加3D高斯濺射（Base+3DGS）；傳統(tǒng)VLA疊加結構化BEV思維草圖（Base+Sketch），也就是X-Mind方案。

▲不同場景表征方案的性能與推理效率對比

結果顯示，無世界模型的傳統(tǒng)VLA方案，橫向、縱向軌跡誤差全部最高，預判精度最差。

而疊加原始圖像的方案雖能小幅減少誤差，但該方案需要額外新增3584個Token，帶來巨大的內(nèi)存占用與計算負擔。

3DGS方案雖以畫面重建為核心，Token開銷同樣極高，規(guī)劃精度提升卻極為有限。

思維草圖方案，也就是小鵬X-Mind方案，ADE橫向/縱向軌跡預測誤差全部最低，且僅需96個額外Token，推理耗時僅為傳統(tǒng)VLA的1.1倍，只增加10%運算延遲，滿足車載實時運行要求。

六、還有哪些短板？論文坦承兩個方向

雖然X-Mind在一些數(shù)據(jù)上表現(xiàn)有優(yōu)勢，但當前架構仍存在兩大局限，而這也是小鵬研究團隊正在攻關的方向。

第一，從“先想后做”到“邊想邊做”。

當前推理流程是串行執(zhí)行——先完成未來世界推演，再基于草圖求解最優(yōu)軌跡。

團隊正研究路況草圖與車輛控制動作聯(lián)合同步采樣生成方案，讓決策和腦補同步進行，進一步提升復雜場景下的響應速度。

第二，從“監(jiān)督學習”到“自監(jiān)督學習”。

當前架構雖取得效果，但訓練必須依賴人工標注生成結構化草圖真值（GT），這會成為模型持續(xù)擴容迭代的瓶頸。

小鵬團隊下一階段計劃引入自監(jiān)督表征學習范式，充分利用近乎無限的原始行車錄像，大幅降低標注成本，讓模型習得更底層、更深刻的物理環(huán)境規(guī)律，進一步強化端到端自動駕駛系統(tǒng)的認知推理能力。

一旦實現(xiàn)這些突破，VLA的進步速度會像坐了火箭一樣。

結語：X-Mind到底改變了什么？

從技術架構來看，X-Mind提出的方案是將預測世界模型以內(nèi)化而非外掛的方式整合進VLA模型。具體來說，它做了三件事：

第一，把“預判”從外部模塊變成了模型內(nèi)部的視覺思維鏈，讓VLA在輸出動作之前先完成一次對未來的顯式推演；第二，用抽象草圖替代高清畫面，將12幀的未來推演壓縮至96個Token，把長時序預測的成本降到了車端算力能夠承受的范圍；第三，通過遞歸塊擴散機制，讓這一整套推演在單次前向傳播中完成，最大限度保障了畫面生成的質(zhì)量。

這篇論文的真正價值，在于它提供了一條足夠輕量化的、可行的技術路徑，預測未來這件事，僅靠單次前向傳播、僅增加10%推理延遲、新增96個Token就能實現(xiàn)。

但論文沒有回答的問題同樣重要：這套在特定數(shù)據(jù)集上驗證有效的推演機制，能否在泛化到從未見過的場景時依然可靠？自監(jiān)督學習突破后，模型學到的是真實的物理因果，還是僅僅是更復雜的統(tǒng)計相關性？以及，當量產(chǎn)車真正跑起來，這10%的延遲增量在極端工況下會不會成為新的隱患？

這些問題能不能被解決，這條路能不能走通，還需要真實道路上的每一公里來驗證。