AutoMoT : B2D & nuScense雙SOTA ，重新思考VLM和端到端駕駛結(jié)合

大模型進(jìn)入自動(dòng)駕駛后，最直接的價(jià)值在于場(chǎng)景理解。它可以識(shí)別前車是否準(zhǔn)備并線、行人是否可能橫穿、施工區(qū)域是否會(huì)影響車道，也可以分析復(fù)雜路口中的讓行關(guān)系。

但自動(dòng)駕駛需要的不只是 “看懂”。車輛真正要做的是在下一秒給出動(dòng)作，是否減速、軌跡是否偏移、繼續(xù)跟車還是選擇繞行。因此關(guān)鍵問題變成了大模型的理解能力，如何真正服務(wù)于駕駛決策和軌跡規(guī)劃？

01 引言

圖中總結(jié)了近年來該領(lǐng)域代表性工作的探索方向：一種是把 VLM 放在前面，當(dāng)作場(chǎng)景編碼器，先理解圖像，再把信息交給 planner。這種方式分工清楚，但理解和規(guī)劃仍然是分開的。另一種是把 VLM 作為輔助模塊，讓它輸出風(fēng)險(xiǎn)判斷、駕駛意圖或條件信號(hào)，實(shí)時(shí)控制仍由 planner 完成。這樣對(duì)原系統(tǒng)改動(dòng)較小，但也容易浪費(fèi)大模型能力：復(fù)雜推理最后被壓縮成少量提示，很難完整轉(zhuǎn)化為動(dòng)作。

還有一種更直接的做法，是把 reasoning 和 action 放進(jìn)同一個(gè) VLA 模型里。這樣理解和動(dòng)作被統(tǒng)一起來，但也帶來實(shí)時(shí)性問題：高層推理可以慢，軌跡規(guī)劃必須快。如果兩者始終同步執(zhí)行，大模型推理延遲就會(huì)限制系統(tǒng)反應(yīng)速度。

針對(duì)上述問題，來自南洋理工大學(xué) AutoMan Lab、哈佛大學(xué)和小米汽車的研究團(tuán)隊(duì)提出了AutoMoT，一種面向端到端自動(dòng)駕駛的統(tǒng)一 Vision-Language-Action 模型，將場(chǎng)景理解、軌跡規(guī)劃與動(dòng)作決策統(tǒng)一到同一潛在空間中，并通過異步推理實(shí)現(xiàn) “低頻理解、高頻行動(dòng)”。具體而言，理解模塊負(fù)責(zé)高層語(yǔ)義建模，動(dòng)作模塊負(fù)責(zé)決策與軌跡規(guī)劃，二者通過layer-wise shared attention在模型內(nèi)部進(jìn)行直接交互。

實(shí)驗(yàn)結(jié)果表明，AutoMoT 在 Bench2Drive 和 nuScenes 兩個(gè)基準(zhǔn)上均取得了 SOTA 性能。其中，在 Bench2Drive 閉環(huán)評(píng)測(cè)中，AutoMoT 達(dá)到87.34 DS / 70.00%SR，加入 Action Refiner 后的 AutoMoT+ 進(jìn)一步提升至89.42 DS / 74.09% SR；在 nuScenes 開環(huán)規(guī)劃評(píng)測(cè)中，其平均碰撞率僅為 0.07%, 平均 L2 為 0.32。該工作已被 ICML 2026 正式接收。

• 論文標(biāo)題：AutoMoT: A Unified Vision-Language-Action Model with Asynchronous Mixture-of-Transformers for End-to-End Autonomous Driving
• 論文鏈接：https://arxiv.org/abs/2603.14851
• 項(xiàng)目主頁(yè)：https://automot-website.github.io/
• 代碼鏈接：https://github.com/OscarHuangWind/AutoMoT
• 模型鏈接：https://huggingface.co/Oscar-Huang/AutoMoT
• 數(shù)據(jù)鏈接：https://huggingface.co/datasets/Oscar-Huang/nuSync

02 模型架構(gòu)

理解、決策與規(guī)劃的統(tǒng)一

AutoMoT 由兩個(gè)專家組成：Understanding Expert（UE）和Action Expert（AE）。

如上圖左側(cè)所示，UE 是一個(gè) 4B 級(jí) Qwen3-VL backbone，輸入多幀 RGB 圖像和導(dǎo)航提示，生成 reasoning tokens；AE 是約 1.6B 參數(shù)的動(dòng)作專家，輸入當(dāng)前 RGB、LiDAR BEV、decision queries、target points 和 planning queries，生成決策與規(guī)劃 tokens。

關(guān)鍵在于 UE 和 AE 不是傳統(tǒng) hierarchical 式串聯(lián)。AutoMoT 在每一層引入Layer-wise Shared Attention：UE 提供高層場(chǎng)景理解，AE 在生成動(dòng)作時(shí)可以訪問這些中間表示。這樣，UE 的場(chǎng)景理解不再只限于外部文本解釋，而是直接參與動(dòng)作生成。

上圖右側(cè)展示了 AutoMoT 的 attention 設(shè)計(jì)。Understanding、Decision、Planning 三類任務(wù)通過 cross-task causal mask 建立明確的信息流：Decision 可以讀取 Understanding 的場(chǎng)景理解信息，Planning 則可以同時(shí)讀取 Understanding 和 Decision 的信息；任務(wù)內(nèi)部仍保持雙向注意力。因此，Action Expert 并不是從零開始學(xué)習(xí)規(guī)劃，而是在基座模型的先驗(yàn)知識(shí)的基礎(chǔ)上學(xué)習(xí)決策與軌跡生成。模型先理解場(chǎng)景，再基于理解形成決策，最后結(jié)合理解與決策生成規(guī)劃，使軌跡預(yù)測(cè)不再只是幾何擬合，而是由場(chǎng)景語(yǔ)義和駕駛意圖共同驅(qū)動(dòng)。

異步推理，KV Cache 復(fù)用場(chǎng)景理解

AutoMoT 的異步推理主要用于解決閉環(huán)駕駛中的實(shí)時(shí)性問題。動(dòng)作規(guī)劃需要高頻刷新，因?yàn)樽攒嚑顟B(tài)和周圍交通參與者都在不斷變化；而高層場(chǎng)景理解具有一定時(shí)間連續(xù)性，例如前方施工區(qū)域、慢速車輛或路口拓?fù)潢P(guān)系，并不會(huì)在相鄰幾個(gè)控制周期內(nèi)完全改變。

因此，AutoMoT 讓 UE 周期性更新高層理解，AE 則以更高頻率生成動(dòng)作。UE 完成一次理解后會(huì)保存對(duì)應(yīng)的 KV cache，AE 在后續(xù)多個(gè)動(dòng)作步中可以直接基于這些 cached states 進(jìn)行多步?jīng)Q策和軌跡規(guī)劃，而無需每一步都重新執(zhí)行完整的大模型推理。

這說明 AutoMoT 并不是削弱大模型推理，而是重新定義其參與控制的方式：高層理解仍然影響動(dòng)作生成，但不再阻塞每一次軌跡刷新。

03 實(shí)驗(yàn)驗(yàn)證

閉環(huán)和開環(huán)結(jié)果

在 CARLA Bench2Drive 閉環(huán)評(píng)測(cè)中，AutoMoT 取得了87.34 DS / 70.00% SR，超過 SimLingo 的 85.07 / 67.27。在加入 Action Refiner 后，AutoMoT+ 進(jìn)一步提升至89.42 DS / 74.09% SR，達(dá)到當(dāng)前 SOTA 水平。這表明動(dòng)作細(xì)化模塊能夠進(jìn)一步提升規(guī)劃質(zhì)量和任務(wù)成功率，也體現(xiàn)了 AutoMoT 在完整路線執(zhí)行中的閉環(huán)駕駛能力。

在 nuScenes 開環(huán)規(guī)劃中，AutoMoT 的 L2@1s / 2s / 3s 分別為0.14 / 0.29 / 0.54，平均 L2 為0.32；碰撞率分別為0.01% / 0.06% / 0.15%，平均碰撞率僅為 0.07%，在安全相關(guān)指標(biāo)上達(dá)到當(dāng)前 SOTA 水平。這說明 AutoMoT 不僅能夠保持較低的軌跡誤差，也能生成更安全的規(guī)劃結(jié)果。

重新思考基座模型的通用能力到底要不要完全 tailor 到自動(dòng)駕駛領(lǐng)域？

AutoMoT 還討論了一個(gè)容易被忽略的問題：預(yù)訓(xùn)練基座模型進(jìn)入自動(dòng)駕駛后，是否需要整體微調(diào)成駕駛專用模型？在 AutoMoT 中，保留 Understanding Expert 的預(yù)訓(xùn)練能力并不是單純?yōu)榱斯?jié)省算力，而是因?yàn)殡S著基座模型能力不斷增強(qiáng)，它們已經(jīng)具備很強(qiáng)的通用場(chǎng)景理解、視覺語(yǔ)義建模和復(fù)雜關(guān)系推理能力，并在自動(dòng)駕駛場(chǎng)景理解任務(wù)中展現(xiàn)出 SOTA 水平。

圖第一組實(shí)驗(yàn)比較了 AutoMoT 在自動(dòng)駕駛和通用任務(wù)上的 reasoning 能力。AutoMoT 在 LingoQA 上達(dá)到67.00，接近 ReCogDrive 的67.20；在 OmniDrive 上達(dá)到0.89，高于 ReCogDrive 和 Robotron-Drive 的0.82；在 CODA-LM 上達(dá)到6.07。同時(shí)，它在 TallyQA 和 InfoVQA 等通用任務(wù)上分別達(dá)到81.40和89.30。這說明，在不完全專門化 backbone 的情況下，AutoMoT 仍然能保持較好的駕駛場(chǎng)景理解和通用推理能力。

第二組實(shí)驗(yàn)進(jìn)一步說明，fine-tuning 的收益并不均勻。對(duì)于 LingoQA 這類場(chǎng)景理解任務(wù)，微調(diào)幾乎只帶來邊際提升，分?jǐn)?shù)從67.00增至67.20；但在 OmniDrive 這類更接近規(guī)劃和動(dòng)作層的任務(wù)上，提升非常明顯，從18.20增至67.80。這表明自動(dòng)駕駛中真正需要強(qiáng)領(lǐng)域適配的部分，更多集中在如何把場(chǎng)景理解轉(zhuǎn)化為決策和動(dòng)作，而不是基礎(chǔ)視覺語(yǔ)言理解本身。

但整體微調(diào) backbone 也會(huì)帶來代價(jià)。微調(diào)后，TallyQA 從81.40降到52.40，InfographicVQA 從89.30降到50.20，VizWiz 從75.60降到50.20。這些結(jié)果說明，如果把整個(gè)基座模型深度改造成駕駛專用模型，可能會(huì)削弱其原本的通用理解和復(fù)雜推理能力。

因此，AutoMoT 采用了更明確的分工：UE 保留預(yù)訓(xùn)練 VLM 的通用場(chǎng)景理解能力，AE 則專門學(xué)習(xí)自動(dòng)駕駛中的決策、規(guī)劃和動(dòng)作生成。需要強(qiáng)調(diào)的是，這并不是否定 fine-tuning 的價(jià)值，而是認(rèn)為不同能力應(yīng)當(dāng)在更合適的模塊中進(jìn)行適配：高層理解能力由 UE 保留，action-level adaptation 則主要由 AE 完成，從而避免整體微調(diào)可能帶來的通用能力退化。

4. 結(jié)語(yǔ)

AutoMoT 的核心并不是讓 VLM 直接接管駕駛，而是在自動(dòng)駕駛 VLA 系統(tǒng)中重新組織 “理解” 和 “行動(dòng)” 的關(guān)系。

因此，AutoMoT 選擇保留 UE 的通用理解能力，將自動(dòng)駕駛中的動(dòng)作學(xué)習(xí)主要交給 AE 完成。兩者通過layer - wise shared attention連接，使 AE 在生成決策和軌跡時(shí)能夠直接利用 UE 的中間表示，而不是僅僅接收一段外部文本解釋。與此同時(shí)，異步推理與 KV cache 將完整 VLM 前向從每個(gè)動(dòng)作周期中解耦出來，從而降低實(shí)時(shí)控制中的計(jì)算壓力。

AutoMoT 提供了一個(gè)關(guān)于智能駕駛基座模型適配的新視角。將整個(gè)基座模型深度適配到駕駛領(lǐng)域固然有其優(yōu)勢(shì)，但也往往伴隨著更高的標(biāo)注、人力和算力成本。AutoMoT 的 SOTA 性能則展示了另一種更高效的可能：保留基座模型強(qiáng)大的通用場(chǎng)景理解能力，同時(shí)將駕駛相關(guān)的決策與規(guī)劃能力交由專門的動(dòng)作專家學(xué)習(xí)，并通過緊湊的跨模塊注意力機(jī)制實(shí)現(xiàn)二者之間的高效協(xié)同。這樣的設(shè)計(jì)在保持強(qiáng)性能的同時(shí)，也為面向真實(shí)部署的 VLA 系統(tǒng)提供了一條更具可擴(kuò)展性的路徑。