別再碰瓷100 億美元“身價(jià)”的世界模型了，李飛飛這次手把手教你分辨

整理 | 華衛(wèi)

在過去 18 個(gè)月里，超過 100 億美元資金流入了世界模型與機(jī)器人 AI 公司中。一個(gè)值得注意的規(guī)律是，使用世界模型的公司所獲得的融資規(guī)模，甚至超過了專門構(gòu)建世界模型本身的公司。

毋庸置疑的是，世界模型火了。但其實(shí)際概念一直眾說紛紜，讓人摸不著頭腦。

今早，李飛飛和 World Labs 團(tuán)隊(duì)發(fā)表了一篇主題為《世界模型的功能性分類》的長(zhǎng)文。她直言，“世界模型”成為當(dāng)今 AI 領(lǐng)域中最重要、同時(shí)也最被過度使用的術(shù)語(yǔ)之一。上個(gè)月，MoE Capital 的 Henry Yin 和 Naomi Xia 也在博客中表示，大多數(shù)被冠以“世界模型”之名的東西根本不是真正的世界模型。

在這個(gè)當(dāng)下，李飛飛這篇文章提供了一種難得的清晰框架，通過引入強(qiáng)化學(xué)習(xí)中的經(jīng)典結(jié)構(gòu)，完整解釋了“世界模型”的定義，將當(dāng)前紛繁復(fù)雜的生成模型、物理模擬系統(tǒng)與具身智能方法，從功能上劃分為“渲染器、模擬器與規(guī)劃器”三類世界模型。

對(duì)于正處于路線分化與資本競(jìng)逐中的 AI 產(chǎn)業(yè)而言，這不僅是一種技術(shù)分類，更像是一份關(guān)于未來主導(dǎo)權(quán)的路線圖。在這一劃分下，原本獨(dú)立的不同技術(shù)路徑首次被置于統(tǒng)一坐標(biāo)系中比較。李飛飛同時(shí)指出，三者正在開始彼此融合：“當(dāng)它們的邊界消失時(shí)，它們將共同重塑更宏大的東西：機(jī)器智能與其所處物理世界之間的關(guān)系，這是空間智能的長(zhǎng)期演進(jìn)軌跡?！?/p>

而在她看來，“終點(diǎn)是一個(gè)統(tǒng)一的世界模型：一個(gè)基礎(chǔ)模型，既能渲染照片級(jí)真實(shí)視圖，又能生成物理準(zhǔn)確的結(jié)構(gòu)，還能規(guī)劃行動(dòng)序列，并根據(jù)下游需求在不同輸出模式之間切換?！?/p>

她在文末點(diǎn)出，“語(yǔ)言讓機(jī)器能夠談?wù)撌澜纭６澜缒Ｐ?，將讓機(jī)器最終能夠理解、想象、推理并與世界互動(dòng)?！逼浔澈箅[含的判斷也相當(dāng)明確：真正決定下一階段 AI 上限的，不是更會(huì)“說話”的模型，而是更接近物理真實(shí)的“模擬能力”。

以下是原文內(nèi)容編譯，我們?cè)诓桓淖冊(cè)獾幕A(chǔ)上進(jìn)行了編輯。

世界不是由語(yǔ)言構(gòu)成的

在此前的一篇文章中，我們?cè)撟C，空間智能是人工智能的下一個(gè)前沿，而世界模型是通往這一目標(biāo)的路徑。在這里，World Labs 團(tuán)隊(duì)和我希望再深入一層：在如今被構(gòu)建并被稱為“世界模型”的眾多事物中，究竟哪些功能性組件真正構(gòu)成了這種能力，以及每一部分分別用于什么？

語(yǔ)言模型賦予機(jī)器對(duì)概念、詞匯和推理的非凡掌控能力，但無論是虛擬世界還是真實(shí)世界，物理世界運(yùn)行在一種完全不同的底層結(jié)構(gòu)之上。語(yǔ)言模型學(xué)習(xí)的是文本的統(tǒng)計(jì)結(jié)構(gòu)，而世界模型學(xué)習(xí)的是時(shí)空的統(tǒng)計(jì)結(jié)構(gòu)：光如何落在表面上，一個(gè)花園從從未被相機(jī)捕捉過的角度看起來如何，物體如何對(duì)力作出反應(yīng)并遵循物理定律。

這使得“世界模型”成為當(dāng)今 AI 領(lǐng)域中最重要、同時(shí)也最被過度使用的術(shù)語(yǔ)之一。計(jì)算機(jī)視覺、機(jī)器人學(xué)、強(qiáng)化學(xué)習(xí)和生成式 AI 都聲稱在構(gòu)建世界模型，但各自指代的卻是完全不同的東西。一個(gè)能夠生成華麗但物理上不可能火焰的視頻模型，一個(gè)即興生成可玩游戲的語(yǔ)言模型，以及一個(gè)忠實(shí)模擬燃燒過程的物理引擎，都會(huì)被稱為同一個(gè)名字。

古希臘人從未就世界由什么構(gòu)成達(dá)成一致，是火、水還是不可分割的原子，因?yàn)椤笆澜纭睆膩砭筒皇且粋€(gè)單一事物。它始終只是一個(gè)替代性概念，用來指代某個(gè)思想家需要進(jìn)行推理的整體。AI 在此刻繼承了同樣的問題，而此時(shí)這個(gè)領(lǐng)域恰恰最需要精確性。

分類之下的循環(huán)

要理清這種混亂，可以從一個(gè)比上述任何技術(shù)都更古老的圖式開始。強(qiáng)化學(xué)習(xí)教材包括 Sutton 和 Barto 的經(jīng)典著作，幾十年來一直使用類似的圖來描述智能體如何與世界交互。這個(gè)圖的正式名稱是“部分可觀測(cè)馬爾可夫決策過程”（POMDP），而“世界模型”這一術(shù)語(yǔ)最初正源于這一傳統(tǒng)。

一個(gè)智能體可以是人、機(jī)器人或軟件系統(tǒng)，來采取行動(dòng)。這些行動(dòng)會(huì)影響世界的狀態(tài)。智能體永遠(yuǎn)無法直接看到狀態(tài)。它所接收到的是觀測(cè)：落在視網(wǎng)膜上的光子、傳感器的讀數(shù)、視頻幀中的像素。新的觀測(cè)會(huì)引導(dǎo)新的行動(dòng)，如此循環(huán)往復(fù)。

“狀態(tài)”這個(gè)詞需要展開說明，因?yàn)樗诓煌I(lǐng)域中的含義會(huì)有所變化。這里指的不是化學(xué)中的狀態(tài)（固態(tài)、液態(tài)、氣態(tài)），而是物理學(xué)和機(jī)器人學(xué)中的狀態(tài)：在某一時(shí)刻對(duì)世界正在發(fā)生的一切的完整描述，包括每一個(gè)物體、每一個(gè)位置、每一個(gè)速度、每一個(gè)屬性。狀態(tài)是世界的底層現(xiàn)實(shí)；在原則上是完整的，但對(duì)其中的任何智能體而言都不可直接觀察。觀測(cè)是智能體對(duì)這一現(xiàn)實(shí)的部分視圖。行動(dòng)是智能體對(duì)此作出的響應(yīng)。

這個(gè)循環(huán)從智能體到行動(dòng)到狀態(tài)、再到觀測(cè)，然后回到智能體，構(gòu)成了現(xiàn)代“世界模型”這一術(shù)語(yǔ)的結(jié)構(gòu)基礎(chǔ)。這個(gè)短語(yǔ)本身更早，可以追溯到 Kenneth Craik 在 1943 年提出的觀點(diǎn)：心智通過運(yùn)行現(xiàn)實(shí)的“小規(guī)模模型”來進(jìn)行推理；這一思想在 1980 年代末到 1990 年代初被引入神經(jīng)網(wǎng)絡(luò)領(lǐng)域。這個(gè)循環(huán)也解釋了人們今天如何使用這一術(shù)語(yǔ)：如今被稱為世界模型的不同事物，其實(shí)是這個(gè)循環(huán)的不同投影，每一種輸出其中的不同部分。

世界模型的三類功能

第一類世界模型是“渲染器”。渲染器輸出的是觀測(cè)，以供人眼觀看的像素形式呈現(xiàn)，其最重要的指標(biāo)是視覺保真度。一個(gè)將文本提示轉(zhuǎn)換為電影級(jí)航拍鏡頭的視頻模型就是渲染器。像 Google 的 Genie 3 或 World Labs 自己的 RTFM 這樣的交互式系統(tǒng)也是如此，它們能夠在用戶輸入條件下實(shí)時(shí)生成畫面。這類模型并不具備對(duì)三維結(jié)構(gòu)的顯式理解。它們生成的是“看起來是什么”，而不是“實(shí)際上是什么”。航拍鏡頭中的建筑從上方看可能完美無瑕，但一旦試圖在城市中行駛，這些結(jié)構(gòu)就會(huì)崩塌。

第二類是“模擬器”。模擬器輸出的是狀態(tài)：一種在幾何、物理或動(dòng)態(tài)上都忠實(shí)于世界的表示，人類和計(jì)算機(jī)程序都可以對(duì)其進(jìn)行計(jì)算和交互。渲染器的契約是純視覺的，而模擬器的契約是結(jié)構(gòu)性的，它要求幾何在檢查下成立、物理遵循牛頓定律、動(dòng)態(tài)行為符合世界在物理規(guī)律下應(yīng)有的表現(xiàn)。模擬器同時(shí)服務(wù)兩類對(duì)象：一類是人類專業(yè)人士，如建筑師、設(shè)計(jì)師、電影制作人和游戲開發(fā)者，他們需要超越視覺合理性的精確性；另一類是計(jì)算機(jī)程序，如強(qiáng)化學(xué)習(xí)智能體、機(jī)器人控制器和自動(dòng)駕駛系統(tǒng)，它們將模擬器作為訓(xùn)練環(huán)境，在其中以規(guī)模化方式與世界交互，測(cè)試那些在現(xiàn)實(shí)中危險(xiǎn)、昂貴或不可能執(zhí)行的場(chǎng)景。

第三類是“規(guī)劃器”。規(guī)劃器輸出的是行動(dòng)。在給定觀測(cè)和目標(biāo)的情況下，規(guī)劃器回答智能體下一步應(yīng)該做什么。在很多方面，它是渲染器的反向過程：渲染器以行動(dòng)為輸入生成觀測(cè)，而規(guī)劃器以觀測(cè)為輸入生成行動(dòng)，從而閉合感知—行動(dòng)循環(huán)。視覺 - 語(yǔ)言 - 動(dòng)作模型、基于模型的方法以及新一代的 World Action Models 都是在嘗試構(gòu)建規(guī)劃器，能夠在非結(jié)構(gòu)化世界中決定機(jī)器人該做什么的系統(tǒng)。

這三類涵蓋了當(dāng)前實(shí)際落地的大多數(shù)系統(tǒng)，這種區(qū)分在實(shí)踐中也很有用。然而，它們?cè)诟旧喜⒉皇潜舜霜?dú)立的。關(guān)于世界如何運(yùn)作的同一底層知識(shí)，幾何、物理和動(dòng)力學(xué)支撐著它們?nèi)俊Ｒ粋€(gè)能夠從任意角度渲染杯子的模型，從原則上也應(yīng)該能夠模擬杯子被推動(dòng)時(shí)會(huì)發(fā)生什么，并規(guī)劃一只手去抓起它。越來越多最有趣的研究，正是有意模糊這三者之間的界限。

為什么模擬是關(guān)鍵？

在這三類中，模擬器獲得的公眾關(guān)注最少，卻是三者中最具決定性的。這篇文章正是要討論這種不對(duì)稱。

渲染器在商業(yè)上最為成熟。大量圖像或文本生成視頻的產(chǎn)品正在消費(fèi)級(jí)和企業(yè)市場(chǎng)快速擴(kuò)張。Google 的 Nano Banana 模型已經(jīng)將高質(zhì)量圖像生成能力帶到了可能數(shù)億用戶手中。技術(shù)是真實(shí)的，市場(chǎng)也是真實(shí)的。然而，渲染器優(yōu)化的是視覺合理性而非物理準(zhǔn)確性，這一上限非常重要。它們的輸出美麗，但無法用于設(shè)計(jì)建筑或訓(xùn)練機(jī)器人。

規(guī)劃器最具吸引力，同時(shí)也最為初期，它與快速發(fā)展的機(jī)器人學(xué)習(xí)領(lǐng)域緊密相關(guān)。過去兩年中，該領(lǐng)域展示了許多看起來令人印象深刻的機(jī)器人演示視頻，但需要坦誠(chéng)地看待這些演示的實(shí)際含義。幾乎所有演示都局限在高度受控的實(shí)驗(yàn)室環(huán)境中，使用有限的物體集合和短任務(wù)周期。沒有任何系統(tǒng)在現(xiàn)實(shí)世界部署所需的復(fù)雜性、變化性或持續(xù)時(shí)間上得到驗(yàn)證。從令人驚艷的演示到在廚房、倉(cāng)庫(kù)或手術(shù)室中可靠工作的機(jī)器人之間，仍存在巨大的差距。盡管如此，商業(yè)投入依然巨大。一批資金雄厚的新進(jìn)入者正在競(jìng)相推出通用規(guī)劃系統(tǒng)，而最大的基礎(chǔ)設(shè)施玩家則在更廣泛的模擬體系之上布局規(guī)劃能力。一個(gè)能夠進(jìn)行規(guī)劃的機(jī)器人，才是一個(gè)能夠工作的機(jī)器人，整個(gè)行業(yè)都在爭(zhēng)奪這一目標(biāo)。

模擬正是連接兩者的橋梁。如果說語(yǔ)言是對(duì)世界的抽象，像素是對(duì)世界的投影，那么幾何、物理和動(dòng)力學(xué)就是世界本身。模擬器必須在這一層面運(yùn)作：這是一個(gè)結(jié)構(gòu)性的骨架，從中既可以導(dǎo)出視覺外觀（供渲染器使用），也可以導(dǎo)出行動(dòng)結(jié)果（供規(guī)劃器使用）。

一個(gè)掌握了模擬能力的模型，可以將其理解投射為供人類使用的像素，也可以投射為供具身智能體使用的行動(dòng)預(yù)測(cè)。而一個(gè)只掌握渲染或只掌握規(guī)劃的模型，則無法做到這兩點(diǎn)。其商業(yè)空間巨大。僅 NVIDIA 的 Omniverse 就瞄準(zhǔn)了公司估計(jì)超過一萬億美元的潛在市場(chǎng)，涵蓋工廠、倉(cāng)庫(kù)、供應(yīng)鏈和數(shù)字孿生。機(jī)器人訓(xùn)練、自動(dòng)駕駛測(cè)試、建筑可視化、工程設(shè)計(jì)以及藥物發(fā)現(xiàn)等領(lǐng)域，都依賴某種形式的模擬。

該領(lǐng)域最困難的開放問題也集中于此。具有明確幾何、材料屬性和物理標(biāo)注的三維數(shù)據(jù)，相比渲染器所依賴的互聯(lián)網(wǎng)視頻要稀缺得多?！胺抡娴浆F(xiàn)實(shí)”的差距仍然存在，即模擬中的行為與現(xiàn)實(shí)中的行為之間的差異。在此基礎(chǔ)上，生成式模擬器還引入了新的風(fēng)險(xiǎn)：AI 生成的幾何可能看起來正確，但卻包含自相交或尺度錯(cuò)誤，從而導(dǎo)致物理行為毫無意義。多物理場(chǎng)的大規(guī)模模擬剛體、可變形物體、流體和布料相互作用，在計(jì)算成本上仍比單一領(lǐng)域模擬高出數(shù)個(gè)數(shù)量級(jí)。

在 World Labs，我們的 Marble 是進(jìn)入這一領(lǐng)域的第一步。它可以接受多模態(tài)提示（文本、圖像、視頻或空間草圖），生成可探索的三維環(huán)境，同時(shí)輸出用于視覺探索的 Gaussian splats，以及供物理引擎使用的碰撞網(wǎng)格。但 Marble 只是一個(gè)開端，整個(gè)領(lǐng)域正在書寫一條更長(zhǎng)的軌跡，渲染、模擬與規(guī)劃之間的界限正在逐漸消融。

界限正在崩塌，接下來會(huì)發(fā)生什么？

未來還會(huì)有更多發(fā)展。當(dāng)前該領(lǐng)域最重要的趨勢(shì)是，這三類正在開始彼此融合。共同的洞見是：渲染世界、模擬世界以及在世界中行動(dòng)所需的知識(shí)，本質(zhì)上是相同的。延續(xù)之前的例子，一個(gè)真正理解杯子如何放在桌面上的模型（包括其幾何、材料屬性、受力響應(yīng)等），應(yīng)該能夠從任意角度渲染該杯子，模擬推動(dòng)它時(shí)會(huì)發(fā)生什么，并規(guī)劃一只手去抓起它。這三類其實(shí)是同一底層理解的三種投影。

例如，來自多個(gè)機(jī)器人實(shí)驗(yàn)室的一些最新工作已經(jīng)表明，至少在概念上，一個(gè)預(yù)訓(xùn)練的視頻渲染器可以作為聯(lián)合世界與行動(dòng)預(yù)測(cè)的基礎(chǔ)，從而在渲染器與規(guī)劃器之間建立橋梁，讓同一個(gè)模型既能想象會(huì)發(fā)生什么，也能決定該做什么。World Labs 的 Marble 已經(jīng)能夠從一個(gè)模型中同時(shí)輸出 Gaussian splats 和碰撞網(wǎng)格，從而打破了渲染器與模擬器之間的界限。每一層都在從被動(dòng)輸出轉(zhuǎn)向交互系統(tǒng)：渲染器變得可由行動(dòng)條件控制，模擬器生成的世界更加可控和可編輯，而規(guī)劃器則從簡(jiǎn)單反應(yīng)轉(zhuǎn)向更具推理能力的決策。

其邏輯終點(diǎn)是一個(gè)統(tǒng)一的世界模型：一個(gè)基礎(chǔ)模型，既能渲染照片級(jí)真實(shí)視圖，又能生成物理準(zhǔn)確的結(jié)構(gòu)，還能規(guī)劃行動(dòng)序列，并根據(jù)下游需求在不同輸出模式之間切換。當(dāng)然，我們?nèi)詫⒚媾R諸多挑戰(zhàn)。數(shù)據(jù)分布極不均衡：渲染器擁有海量互聯(lián)網(wǎng)視頻，而模擬器和規(guī)劃器卻嚴(yán)重缺乏三維資產(chǎn)和機(jī)器人演示數(shù)據(jù)。對(duì)視覺美感的優(yōu)化，可能會(huì)犧牲機(jī)器人或高保真模擬所需的精確性。在同一架構(gòu)中調(diào)和這些張力，是當(dāng)今世界模型研究中最核心的開放問題，也是 World Labs 在推進(jìn) Marble 過程中試圖解決的方向。

方向已經(jīng)非常清晰。自 1980 年代末以來，該領(lǐng)域一直在押注：只要擁有足夠豐富的世界模型，智能體就能夠觀察世界、構(gòu)建世界并在其中行動(dòng)。如今，這一“重大賭注”正在驅(qū)動(dòng)新一代研究，其力量來自正在發(fā)生的融合：三條原本獨(dú)立的研究路徑，各自已經(jīng)支撐起數(shù)十億美元產(chǎn)業(yè)，開始表現(xiàn)得像一個(gè)整體。當(dāng)它們的邊界消失時(shí)，它們將共同重塑更宏大的東西：機(jī)器智能與其所處物理世界之間的關(guān)系，空間智能的長(zhǎng)期演進(jìn)軌跡。

語(yǔ)言讓機(jī)器能夠談?wù)撌澜?。而世界模型，將讓機(jī)器最終能夠理解、想象、推理并與世界互動(dòng)。

https://x.com/drfeifei/status/2062247238143996275

聲明：本文為 AI 前線整理，不代表平臺(tái)觀點(diǎn)，未經(jīng)許可禁止轉(zhuǎn)載。

會(huì)議推薦

企業(yè)級(jí) Agent 落地，繞不開 4 個(gè)真實(shí)的工程問題！如何在 Agent 安全性和可用性之間找到平衡點(diǎn)？Agent 需要什么樣的記憶系統(tǒng)才能真正理解上下文？如何通過算法壓榨實(shí)現(xiàn)智力增量與成本控制的極致平衡？多 Agent 協(xié)作，如何做到可觀測(cè)、可治理、可控制？6.26-27 AICon 上海站，國(guó)內(nèi)頭部公司的 Agent 實(shí)踐，一次說透。

今日薦文

你也「在看」嗎？