AMI Labs 馮雁：AI 邁向現實世界，世界模型不可或缺 | ICML 2026

JEPA 比生成式世界模型，天然更具有結構性優勢。

作者丨幸麗娟

編輯丨岑 峰

2026年7月7日，ICML 2026 正會第一天，AMI Labs 聯合創始人兼首席研究創新官、香港科技大學電子與計算機工程系講座教授馮雁（Pascale Fung）帶來大會首個特邀演講。

作為與 Yann LeCun 共同擎起 JEPA 世界模型旗幟的代表學者，她在題為《Towards AI Agents in the Real World》的演講中，系統回答了三個核心命題：

世界模型為何對于 AI 從數字空間走向物理世界，不可或缺？JEPA 路線相較生成式路線究竟贏在哪里？以及團隊沿此方向完成了哪些關鍵突破？

馮雁首先劃定了未來物理世界 AI 的兩大主力形態：一類是嵌入可穿戴設備（如智能眼鏡）的主動式輔助智能體，與人類共享第一人稱感知場，承擔過程規劃與實時指導；另一類是部署于自動駕駛、家務機器人等自主系統中的執行智能體，需完成從高層語義指令到電機細微動作的分層規劃。

兩者雖然形態與任務迥異，卻共享同一個"能力底座"——對物理世界演化的預測能力。無論是預判用戶下一步動作以主動協助，還是推演機械臂運動軌跡以避免碰撞，這種預測都遠非背誦文本或識別靜態圖像所能及，它要求模型內化一套可因果推理的物理認知框架，而這正是世界模型的立足之本。

而眼下世界模型流派眾說紛紜，馮雁也針對當下主流的兩派——生成式世界模型（如Cosmos、Genie）和 JEPA 世界模型在設計哲學上的差異進行了對比，即前者認為AI 要理解世界，就必須能完整生成每個像素，而后者追求因果正確性而非像素完美。

其結果是，JEPA 模型參數量更小、推理速度更快、對噪聲與環境連續變化的魯棒性顯著更強，在物理世界的落地場景中展現出天然的結構性優勢。

沿著 JEPA 這一技術脈絡，馮雁、 LeCun 團隊已接連完成 V-JEPA、V-JEPA 2、LeWorldModel 和 VL-JEPA 等一系列標志性工作，在自監督視覺表征學習、機器人動作規劃及高效視頻理解等任務上取得了領先表現。

與此同時，團隊正通過開源數據集（Action 100M）、組織 ECCV 2026 可穿戴 AI 研討會及設立挑戰賽等方式，系統性地推動 JEPA 路線的學術生態建設。

以下是馮雁在 ICML 2026大會上發表的演講精編稿，AI科技評論基于原英文演講內容進行了不改原意的翻譯編輯：

01

AI 智能體邁向現實世界，需要世界模型

我是 AMI Labs的聯合創始人兼首席研究創新官，常駐巴黎。

今天演講的主題是《邁向現實世界中的AI智能體》，這里的“現實世界”是相對于虛擬世界而言的。

既然我常駐巴黎，那我就給大家分析姆巴佩（Mbappé）在世界杯對陣瑞典時的第二次進球，并借此介紹“世界模型（world model）”的概念——如果大家還不熟悉的話。

世界模型在這里定義為：用于決策的下一步動作預測。

如果你們看姆巴佩的進球分析視頻，可以看到其進攻的逐回合分析，也能看到兩位球員所做的決策。例如，從姆巴佩的自我中心視角（Egocentric View）來看，他當時在掃描場上局勢，決定劃定自身的空間，然后決定向遠離目標區域的方向切入，把球交給另一位球員。

所以，AI 智能體要應用到真實世界中，需要世界模型。那我們在這里談論的是哪種智能體？

一個典型案例就是我過去幾年在 Meta FAIR以及現在 AMI Labs一直在做的工作，即可穿戴設備上的AI智能體。如上圖右側所示，這是人類用戶、可穿戴設備中的 AI 智能體以及真實物理世界之間交互的三條通道。

可穿戴設備（比如智能眼鏡）中的 AI 智能體擁有來自人類用戶的自我中心視角，它看到我所看到的，聽到我所聽到的。

它能做的是協助人類用戶執行動作，例如指導我更好地踢足球，或輔導我做智力活動，幫我更好地學習語言，幫我導航物理世界，或幫我獨立解決不同的認知任務。這就是輔助人類動作的AI智能體。

這個 AI 智能體也通過輸出數字動作與現實世界交互。假設我想在地鐵站買票，但我從沒去過那里，那里有售票機。那么眼鏡中的 AI 智能體會向我展示如何操作售票機，或者幫我在智能手機上買票。所以它直接向現實世界輸出數字動作，或者協助我并向我展示如何操作這些售票機。

當然，AI 智能體從現實世界獲得的感知輸入會傳入AI智能體，然后 AI 智能體與人類用戶交互，告訴我該做什么。

因此，這個 AI 智能體需要執行“過程規劃（Procedural Planning）”，即向我展示如何完成某項任務（比如從巴黎地鐵站售票機買票）的多個步驟。不過這里的多個步驟，指的是智能體輔導或指導我如何執行。它需要做過程規劃，為我（人類動作）提供高層動作指導。

為了實現個性化，AI 智能體還需要長期和情景記憶（Episodic Memory），這樣如果我去過某個地鐵站，它就知道不需要再教我如何使用機器。

然而，如果當前物理環境對我來說是新的，它就會主動地、提前地協助我，告訴我并展示該做什么，同時在這個物理場景中推斷我的目標——比如我是要站在咖啡機前做卡布奇諾，還是坐在餐廳桌旁要點餐。

第二類智能體是自主系統（autonomous systems）中的智能體。這些自主系統在現實世界的物理環境中運行，包括自動駕駛汽車、無人機、機器人等。其與現實世界交互，感知現實世界，并執行物理動作。

它們與 AI 智能體（即這些系統的“大腦”）通信，而大腦擁有物理世界模型，用于建模物理環境、規劃、推理，并命令自主系統執行物理動作。同時，自主系統也會通過感知物理環境向智能體發出查詢。在這種情況下，AI 智能體需要執行低層和高層規劃。

例如機器人，它需要告訴機械臂或機器人如何移動、如何拿起東西、如何疊衣服等等。它需要執行“分層規劃（hierarchical planning）”，從高層動作如“請打掃我的房間”，分解為子任務，再進一步分解為機器人電機上的細微動作，這就是分層規劃。它還需要有某種關聯記憶，要知道之前做過什么以及當前動作的上下文。

02

為什么大語言模型不夠用？

那為什么不能直接使用大語言模型（LLMs）呢？

我知道最近有很多人熱衷用 LLM 做規劃，也有不同的基準測試。雖然我本人就出身自然語言處理背景，已經研究LLM 好幾年了，但我們現在明白，LLM 從人類寫下的所有描述世界的文本中學習，所以它們相當于“二手”地學習世界模型，從文本描述而不是實際現實中學習。因此它們無法預測現實世界中的力，如重力、質量，或嘈雜環境中的實際物理力。

而且別忘了，LLM 訓練目標是優化對話流暢度或語言描述的優美度，而不是因果推理。它們耗費大量計算生成下一個token，然而這是個錯誤的優化目標。這也導致，它們需要數萬億token 來進行學習，結果學習物理的速度，依舊比人類慢得多。

此外，因為它們是針對生成內容進行優化，會產生“幻覺（hallucination）”。我從2019年就開始研究幻覺，現在整個研究界達成的共識是，幻覺既是生成模型（如LLM）的缺陷，也是其特征。然而，在文本中，幻覺可能相對無害——人類用戶看到幻覺，可以事后處理，或者可以自行選擇是否處理。但這種幻覺如果發生在物理機器人上，會導致“撞擊”后果，我們絕不想在現實世界中看到這種情況。

在我試圖說服大家“ LLM 不太適合用于物理世界”之前，先展示一些模擬環境中的基準測試。

DeepPhy是一個針對 AI 智能體物理推理能力的基準，評估基礎物理、力學機制與動力學、動作與控制，以及高階推理。大家可以看到，人類表現是64.7%，遙遙領先于所有通用大模型，從 Claude 的 41.2% 到 Gemini Pro 的35.2% 和 GPT-4o 的更低水平——都遠低于人類，只比隨機略好。

基準IntPhys 2測試的是 AI 智能體在復雜但合成的環境中的直覺物理理解能力，涵蓋四個核心原則：Permanence（永恒性）、Immutability（不變形）、Spatio-Temporal Continuity（時空連續性）和 Solidity（不可穿透性）。同樣，人類近乎完美，而生成模型只有55.6%或更低，而 JEPA 模型表現優于通用模型，但仍低于人類。

基準PhysBench使用 10000 個視頻、圖像、文本交叉的多選題，評估 VLM 對物理世界的理解，涵蓋對象屬性、關系、動態和文本理解。人類表現是 95.9%，而所有 VLM 大約只有50%左右，最好的也不到 52%。

另一個基準PAI-Bench使用來自機器人、自動駕駛等領域的 1000 多個視頻問答對，測試物理常識、時空推理、動作效果等。人類表現是 93.2%，而 VLM 約 65%。

最后一個基準WorldPrediction評估模型預測高層動作、長時程過程規劃的能力——也就是我之前提到的步驟分解。任務包括選擇缺失幀或重新排序幀序列。人類表現近乎完美，而 VLM 最多50%。

因此結論是：LLM 和 VLM 雖然能學習物理教科書，但并不真正理解物理世界。

也就是說，即便是當下最前沿的大模型，也仍然存在“落地差距（Grounding Gap）”——它們懂得物理世界的詞匯，但面對場景泛化、實時動力學、摩擦力和約束等方面的現實問題，依舊很吃力。

03

JEPA 世界模型 VS 生成式世界模型

Yann LeCun 在 2022 年的一篇論文中提出了一種“先進機器智能”（Advance Machine Intelligence）的系統架構，這也正是我們公司名字的來源。

該架構提出了一個世界模型系統，包含感知模塊（估計當前狀態）、世界模型（預測未來狀態）、規劃模塊（搜索最小化成本的動作序列）和記憶模塊（跟蹤狀態）。這大致對應人類大腦的不同功能區域。

現在，我們來看自主系統中的機器人智能體。

機器人需要高頻執行低層動作。它是典型的具身 AI 智能體，擁有傳感器和執行器，在日常生活場景中實現自主。它們通過人類遙操作或大量人類動作數據（如疊衣服、整理物品）進行訓練，使用監督學習和模仿學習。但由于視覺基礎模型的性質，這些技能停留在訓練分布附近，環境變化時很脆弱，容易崩潰。

我們需要的機器人學習智能體，是要能零樣本（zero-shot）學習，具有魯棒性，能在任何環境中學習任何技能，且使用更少的數據。

而當前 VLM 和強化學習，是世界模型的主流學習方法，它們要么從遙操作、模擬環境或人類動作中學習，并押注于規?！J為只要有足夠數據就能泛化一切。但我想不必多說，物理世界連續且嘈雜，不可能做到“在所有上下文中學會一切”。

因此，我們的世界建模方法是構建任務無關的世界模型，然后根據具體任務調節，用成本模型來生成策略。

首先，介紹第一種世界模型——生成式世界模型（Generative World Models），例如 Cosmos。

這些方法把世界建模視為視頻生成，通過預測下一幀像素來模擬世界，訓練于數百萬小時視頻，使用自編碼器或分詞器壓縮幀，然后用 Transformer 或擴散模型預測下一幀。

這類模型輸出是詳細的像素流。例如，Cosmos 生成多視角駕駛視頻和機器人視頻；Genie 3 構建交互式且持續性的 3D 世界。

它的設計哲學是：AI 要理解世界，就必須能完整生成每個像素，這種路線認為 AI 通過生成可以學習碰撞、質量、動量等物理直覺。

但另一種方法，即 Lecun 在論文中提出的“聯合嵌入預測架構（Joint Embedding Predictive Architecture, JEPA）”，它是一種表征學習方法。

它不嘗試生成視頻或預測下一幀圖像，而是預測未來世界狀態和動作的抽象表示，并舍棄不可預測或無關的細節。JEPA 不預測每個像素，它預測嵌入（embeddings）。

大家可以回想一下，自己進入這個房間時，并不會注意到每個像素，而是看屏幕、看我、看幻燈片上的文字。人類會根據任務慣例，忽略不必要的細節。

JEPA 模型從相同視頻中預測嵌入而非幀，將上下文和目標編碼到潛空間，用預測器根據動作，來預測目標表征。該模型使用不同的損失函數，而不是像素重構損失。

JEPA的輸出不是圖像，而是用于規劃、動作預測和標記不可能事件的壓縮表征（Compact representation）。你可以查詢未來而不必實際“觀看”。

這種路線的設計哲學是預測重要的信息，忽略不重要的信息，追求因果正確性而非像素完美。這類模型只關注抽象空間中的結構核心，例如預期玻璃會掉下，但不必渲染它看起來如何——它是一個“理解”世界而不是“生成”世界的模型。

再次比較這兩種方法：如上圖所示，左側是生成式世界模型，右側是 JEPA 世界模型。

生成式世界模型輸入視頻或音頻，使用 VAE 或分詞器，擴散模型預測未來，損失不同。

JEPA 世界模型輸入上下文和目標，對必要信息編碼，預測潛空間嵌入，然后與目標對比，直接在潛空間進行規劃和推理。

生成式世界模型認為必須生成每個像素細節才能真正理解，而 JEPA 世界模型認為只需知道任務和目標，預測本質即可。

04

JEPA 世界模型相關研究進展

我們之前發表的V-JEPA論文，使用自監督學習在總時長為 465 年的視頻上訓練，預測掩碼嵌入，獲得了外觀和運動方面的最先進視覺特征，權重已開源。

V-JEPA 在行動預期上達到最先進水平，且比生成模型小得多，更快、更魯棒。V-JEPA 2 則用于機器人規劃。視頻顯示它預測機械臂在初始狀態和目標之間的運動，在嵌入空間中進行過程規劃。

我還想提一下 AMI Labs 和 NYU 合作的最新論文LeWorldModel，是第一個端到端穩定訓練的 JEPA 模型，從原始像素直接訓練，僅使用兩種損失項，就實現了高效的模型預測控制（MPC）規劃。數據和 Checkpoints 均已開源。

那么這項工作如何使用 JEPA 世界模型進行規劃呢？

首先感知模塊提取當前狀態的表示；執行器提出動作序列；世界模型預測未來狀態；成本模塊評估當前狀態到目標狀態的距離；然后搜索最佳動作并在世界中執行。這就是JEPA 模型實現精細動作的方式。

另一篇論文是關于“潛在動作模型（Latent Action Model）”的，它從原始視頻中發現動作空間，無需人工標注，可擴展到 in-the-wild 視頻，非常有趣。周四，這篇論文將由第一作者進行展示。

到目前為止，我們討論了生成式或 JEPA 世界模型，以及如何用于機器人動作。

下面我要再回到第一類物理 AI 智能體，即可穿戴智能體，來分享我們的工作。

如前所述，可穿戴設備輔助人類高層現實世界動作。這些設備有攝像頭、麥克風，擁有第一人稱的自我中心視角，AI 智能體和人類用戶共享感知場。

它看到我所看到的，聽到我所聽到的，可以始終開啟，因此需要環境智能（ambient intelligence）和上下文感知——它無需我提示就能感知上下文。沒人想一直對著眼鏡問“該做什么”，所以它應是主動的（proactive），實時理解上下文，無延遲運作。

而生成式世界模型太慢且成本高，無法在可穿戴設備上使用。我們還需要考慮設備端計算和低功耗，因此效率對可穿戴設備非常重要。

不同于機器人智能體，可穿戴智能體還需要“心理世界模型（mental world model）”，即了解人類用戶的目標和意圖，實現長期規劃和個性化，適應偏好變化。如果我總在咖啡機前做某類咖啡，它就不該再問我要做什么；而另一個新手則需要它展示如何使用咖啡機。

它還需要持久記憶、情景回憶、長期保留，也就是說，如果我想以某種方式踢足球，它應記住我過去學過什么。

此外，它還要理解人類情緒和心理狀態，以及社交和文化線索，來幫助我減少人際摩擦。例如在巴黎或紐約，社交信號不同，行為方式、說“謝謝”的方式甚至走路方式都不同。我的智能體需要全天候幫我解讀這些社交信號，并主動知道何時展示、何時告知我的下一步動作。

因此，我們提出一種在語言空間進行世界模型建模的方法，不是通過生成像素（圖像）來建模，而是進入到由語言描述的動作空間中建模。

這種方法以觀測（Observation）和目標（Goal）作為輸入，且都是語言形式的；Critic 模型查看的當前狀態、目標狀態和動作狀態都是用語言描述的。動作本身也被描述為語言。

在這種情況下，語言比像素更緊湊。它不試圖生成語言本身，而是生成描述動作的語言。這就是“視覺語言世界模型（Vision-Language World Model, VLWM）”。與生成式世界模型相比，它提取的是對未來預測的語言描述。

我們能拿 VLWM 做什么？——用于高層過程規劃，比如“教我怎么做一道菜”。會做飯的人知道，光看菜譜文字很難操作，很多人會上YouTube看步驟。而我希望可穿戴智能體能一步步給我展示。

VLWM 從視覺上下文中提取動作，并有一個搜索模塊來選擇最佳軌跡，順序預測世界狀態和動作，然后根據Critic 模型輸出搜索最佳計劃。

具體示例是：我戴著眼鏡想做洋蔥番茄炒蛋，它會解釋目標含義，然后逐步指導從加熱鍋到打蛋、調味，比普通菜譜更詳細，甚至描述每個動作的含義。它還可以將世界狀態分解為不同層次的對象、屬性和狀態。

如視頻所示，智能體做過程規劃，告訴我下一步，同時還要實時跟蹤我當前實際在做什么。這種實時理解很重要。VLM可以做到每8秒拍一張照片并描述狀態，但那太慢，不適合可穿戴設備。所以這部分需要 JEPA 模型來建模。

我們提出的VL-JEPA（Vision-Language JEPA, VL-JEPA）模型，基于強大的V-JEPA 2編碼器，實現了開放詞匯（open-vocabulary）的動作和狀態跟蹤，并贏得了 CVPR 2026 EgoVis 行動識別挑戰賽的冠軍。

VL-JEPA是一種用于視覺語言的聯合嵌入預測架構，包含視覺編碼器和文本編碼器。文本編碼器接收提示（如“跟蹤動作”）和目標文本，將所有內容編碼到嵌入空間。

推理時，它將視覺輸入和文本查詢編碼到公共嵌入空間，而不是逐token生成，具體方法是，用滑動窗口在嵌入空間中跟蹤動作和狀態，只在有事件發生時解碼。這使得 VL-JEPA 能夠實時、高效地進行動作跟蹤和視頻理解。

與經典VLM不同，VL-JEPA不是生成式的，不強制重建每個表面細節，而是預測目標語義嵌入，無自回歸延遲，因此能實時跟蹤人類動作。

VL-JEPA 在嵌入空間中跟蹤動作，且由于開放詞匯，可以做到零樣本跟蹤動作，而這也是可穿戴和機器人智能體的前提。它還可以跟蹤狀態，顯示機器人動作是否成功完成，如方塊是否放入盒子，或動作失?。ㄈ缥茨墀B好毛巾）。一旦有了實時理解，就能讓規劃器告訴我們下一步該做什么。

我們還將 VL-JEPA與 VLM 進行比較，使用相同訓練數據、編碼器和計算，VL-JEPA 以少50%的參數達到更高性能，且對流視頻的推理更快，在基準上取得最佳結果。此外，VL-JEPA 可零樣本進行視頻字幕描述和視頻分類，性能高于VLM，且訓練參數更少。

最重要的是，VL-JEPA不是每時每刻都解碼，而是在有意義的事件發生時“有選擇性地解碼”，這樣一來，在相同輸出質量下，解碼操作減少了約2.85倍，是真正的節能型模型。

綜上所述，我向你們展示過程規劃（procedural planning）的現場演示，并帶有實時動作跟蹤。比如有個人正在嘗試做一個黃油派皮，而且是用法語說明的。旁邊有一份食譜，一步一步地告訴我該做什么。系統正在觀察我的實際動作，只有當它看到我做了正確的動作時，它才會進行解碼，并告訴我可以從某個時間點開始。實際上，我中途喝了一口咖啡，而那個JEPA 模型學會了把這個動作視為無關緊要并直接忽略，它認為這沒有意義。

這是因為真實世界中的人類動作（其實也包括機器人動作），情況非常復雜。也許有一天，機器人也能幫人類制作黃油派。但對它來說，這個過程噪聲很大，因為每次操作的條件都不一樣，比如溫度不同、濕度不同、制作的手法也不同。此外，人類還可以做同一種派做十次，但十次的做法都會有些差異，并且面粉，不同品牌的面粉吸水性、筋度也不一樣。所以，操作本身就是有噪聲、復雜、動作連續的環境。

針對VL-JEPA這項工作，我們也發布了名為 Action-100M 的訓練數據集，包含總時長達14.6年的YouTube視頻，共120萬個視頻，1.47億個層次結構動作，已在Hugging Face上開源，歡迎大家使用。

我前面提到“主動協助”和“心理世界模型”。我的可穿戴助手如何主動猜測我下一步需要做什么？它需要規劃、觀察和恢復。所以今天，我們還要發布一個主動過程協助的基準和架構，能夠做到自動檢測計劃偏差。

右側示例視頻展示的是：在幫我做濃縮咖啡時，智能體說“先磨豆”，看到我磨完后說“磨得好，現在放粉”，我填粉后它打斷說“現在用壓粉錘壓實”。我們發布的這個基準和架構，供大家研究。

此外，我也很高興宣布，我們將在 ECCV 2026 舉辦可穿戴 AI 研討會。研討會由來自Meta、AMI Labs、NYU、愛丁堡大學、佐治亞理工、佛羅里達大學和香港科技大學的研究者們聯合組織，旨在推進下一代可穿戴設備的自我中心視覺、主動式 AI 和長上下文多模態理解。

研討會還設置了總獎金21,000美元的挑戰賽，并且會新發布數據和基準，論文征集截止7月25日，希望大家投稿，也期待在瑞典見到大家。

05

現實世界中智能體的倫理安全問題

最后但同樣重要的是，我想聊一聊現實世界中智能體的安全性。由于可穿戴設備和機器人的攝像頭、麥克風始終是開啟的狀態，會捕捉到用戶以外的旁觀者和環境。自我中心視角的數據極度個人化且持續在設備端處理，然而這種自主性也增加了誤用和誤導的風險。

另外，當智能體以類人的方式與用戶交流時，還容易引發“擬人化（anthropomorphism）”，導致過度信任和情感依賴，這都有可能被不正當利用。

因此我們需要在模型設計上，平衡用戶參與度和防操縱機制。本周四同一時間的這個房間，Verena Rieser 會做《From Behavioural Guardrails to Principled Agency》的主題演講，我也很感興趣。

最后，AMI Labs 正在招聘研究科學家、博士后和博士，我所在的實驗室在巴黎，另外也在紐約、蒙特利爾和新加坡等駐地，歡迎感興趣的朋友申請。

一個人讀論文太孤單，一群人刷頂會才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。

進群傳送門：掃碼進群或添加微信Vin_Vivid，備注：論文群 + 關注的 AI 方向。

搞科研/搞技術，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。