Matrix-Game 3.5WAIC首發(fā)！開源世界模型一哥，這次要“造世界”不只是“拍視頻”

智東西
作者 王涵
編輯 漠影

要說過去一年AI領(lǐng)域討論最熱的方向，世界模型必須占有一席之地。

在過去18個(gè)月里，世界模型企業(yè)吸納了超過100億美元的投資，圖靈獎得主楊立昆（Yann LeCun）甚至預(yù)言三到五年內(nèi)它將取代大語言模型成為主流AI范式。

與此同時(shí)，世界模型的技術(shù)瓶頸正在暴露。

長期記憶能力薄弱、相機(jī)控制精度不足、實(shí)時(shí)交互能力有限，多數(shù)產(chǎn)品停留在“生成視頻”而非“交互世界”的階段。更重要的是，市面上的世界模型普遍缺乏對物理規(guī)則的理解，例如模型能生成一條狗跑動的畫面，卻不明白狗的四條腿為什么按這個(gè)順序落地。

就在這種混亂中，昆侖萬維旗下Skywork團(tuán)隊(duì)在7月19日世界人工智能大會WAIC 2026期間，正式發(fā)布了世界模型Matrix-Game 3.5。

該模型能夠根據(jù)用戶動作和事件指令持續(xù)生成可交互的世界，并在長時(shí)序生成過程中保持場景結(jié)構(gòu)、空間布局、角色身份和動態(tài)內(nèi)容的一致性，為游戲、機(jī)器人、具身智能和 XR 等應(yīng)用提供可持續(xù)交互的生成基礎(chǔ)。

一、三方面升級，實(shí)現(xiàn)端到端實(shí)時(shí)推理

3.5版本從模型吞吐優(yōu)化、DiT推理優(yōu)化和VAE解碼優(yōu)化三個(gè)層面構(gòu)建了完整的系統(tǒng)級加速方案，實(shí)現(xiàn)端到端實(shí)時(shí)推理。

首先，在模型吞吐優(yōu)化方面，Skywork團(tuán)隊(duì)通過蒸餾將采樣步數(shù)壓縮至3-step Sampling，并設(shè)計(jì)分塊因果推理（Chunked Causal Inference），結(jié)合KV Cache、Patch Latent和預(yù)測Latent，在保持生成質(zhì)量的同時(shí)提高單次推理吞吐，顯著降低多步采樣帶來的整體延遲。

其次，在DiT推理優(yōu)化方面，Skywork團(tuán)隊(duì)還針對推理熱點(diǎn)進(jìn)行了系統(tǒng)優(yōu)化，包括FFN INT8量化、Memory Retrieval Optimization以及Torch.compile等推理加速技術(shù)，在幾乎不影響模型效果的情況下進(jìn)一步降低DiT推理耗時(shí)。

最后，在VAE解碼優(yōu)化方面，Skywork團(tuán)隊(duì)使用3.0版本中的MG-LightVAE，對Wan2.2 VAE Decoder進(jìn)行約75%結(jié)構(gòu)化剪枝。在保持與原始Wan VAE接近重建質(zhì)量的同時(shí)，該架構(gòu)可以大幅降低VAE解碼延遲，使VAE不再成為系統(tǒng)整體性能瓶頸。

通過上述系統(tǒng)級優(yōu)化，Matrix-Game 3.5實(shí)現(xiàn)了減少采樣步數(shù)+DiT推理優(yōu)化+VAE加速的完整推理加速方案，最終在單張GPU上實(shí)現(xiàn)720P分辨率、約20FPS的實(shí)時(shí)流式視頻生成。

二、四大技術(shù)優(yōu)勢，解決長時(shí)一致性問題

據(jù)Skywork團(tuán)隊(duì)披露的信息，Matrix-Game 3.5還有四個(gè)核心差異化優(yōu)勢。

1、長期記憶機(jī)制

對于長期記憶，Matrix-Game早期版本的做法是原樣存儲歷史幀，推理時(shí)檢索相關(guān)幀拼接到上下文中——占用大量上下文窗口，跨幀拼接時(shí)容易出現(xiàn)畫面沖突。

3.5版本將歷史幀切分為三維坐標(biāo)系下的空間塊，檢索時(shí)按空間位置匹配，再重組成當(dāng)前視角的記憶圖。畫面一致性更高，相機(jī)軌跡更穩(wěn)定，記憶可以隨時(shí)更新、替換、刪除。

Matrix-Game 3.5的Patch Memory是業(yè)內(nèi)首個(gè)幾何對齊的Patch級長期記憶機(jī)制。

行業(yè)評測顯示，主流世界模型的“物體重現(xiàn)得分”沒有一個(gè)超過0.6，即相機(jī)離開再回來，場景里的物體可能就消失了。

Patch Memory可以將局部圖像patch作為基本記憶單元，在空間上按需檢索、對齊和復(fù)用歷史內(nèi)容，讓模型在相機(jī)重訪場景時(shí)能準(zhǔn)確找回此前觀察過的空間內(nèi)容。

2、動靜解耦記憶機(jī)制

此外，該模型采用動靜解耦記憶機(jī)制，讓Patch Memory負(fù)責(zé)記住靜態(tài)場景結(jié)構(gòu)，主體參考Token負(fù)責(zé)維持動態(tài)主體的身份一致性。動態(tài)物體在寫入記憶前會被過濾掉，避免移動物體被誤認(rèn)為多個(gè)靜態(tài)物體。

3、相機(jī)控制精度

傳統(tǒng)視頻模型使用的3D RoPE只編碼時(shí)間和二維空間位置，難以表達(dá)不同視角之間的真實(shí)幾何關(guān)系。Skywork團(tuán)隊(duì)發(fā)現(xiàn)，此前把鼠標(biāo)信號通過Self-Attention注入、鍵盤信號通過Cross-Attention注入的做法，雖然直觀，但每次加入?yún)?shù)都會破壞模型對原始視頻分布的認(rèn)知，需要大量額外訓(xùn)練來修復(fù)基礎(chǔ)能力

在架構(gòu)層面，3.5版本做了一個(gè)關(guān)鍵調(diào)整：不再將動作控制信號作為額外參數(shù)注入模型，而是采用相機(jī)位姿相對編碼PRoPE機(jī)制，通過相機(jī)投影矩陣讓模型直接感知相機(jī)相對位姿。

Matrix-Game 3.5將PRoPE加Warped RoPE進(jìn)行組合，其中Warped RoPE可以重新定義記憶Patch在當(dāng)前視角下應(yīng)該出現(xiàn)的位置——位置編碼從簡單的時(shí)空索引升級為具備幾何語義的世界表示。

4、輕量化框架

輕量化的交互框架是Matrix-Game 3.5另一個(gè)值得注意的特點(diǎn)。除角色Reference Adapter外，該模型的核心功能幾乎不需要新增模型參數(shù)即可實(shí)現(xiàn)交互世界建模，并可快速適配不同的視頻基礎(chǔ)模型。

三、讓行業(yè)頭疼的數(shù)據(jù)，成了護(hù)城河

除了以上技術(shù)優(yōu)勢，Matrix-Game 3.5還有一個(gè)很值得細(xì)說的“技術(shù)護(hù)城河”，就是其在數(shù)據(jù)基礎(chǔ)建設(shè)上的成果。

如果說大語言模型的瓶頸是算力，那么世界模型的瓶頸首先是數(shù)據(jù)。

互聯(lián)網(wǎng)視頻的數(shù)據(jù)分布與世界模型需要的物理世界數(shù)據(jù)存在本質(zhì)差異：互聯(lián)網(wǎng)內(nèi)容很多是娛樂性的，甚至包含反物理規(guī)律的內(nèi)容，比如人也可以飛起來。

而世界模型需要的是接觸豐富、包含推拉擰拽等動作、涵蓋柔性物體、摩擦力、流體等多樣物理交互的真實(shí)數(shù)據(jù)。

更棘手的是數(shù)據(jù)規(guī)模。國際領(lǐng)先大語言模型的預(yù)訓(xùn)練數(shù)據(jù)已達(dá)100萬億Token，等效約100億小時(shí)的說話量。

物理世界數(shù)據(jù)的信息密度遠(yuǎn)低于文本，要實(shí)現(xiàn)更高階的物理常識判斷，可能需要“億小時(shí)”量級的真實(shí)世界數(shù)據(jù)。

對于數(shù)據(jù)采集，Skywork團(tuán)隊(duì)給出的解決方案是三條自動化數(shù)據(jù)生產(chǎn)管線：

1、第一條基于Unreal Engine 5的自主探索管線，在UE5中搭建常見游戲場景，部署RL Agent進(jìn)行自由探索，在探索過程中實(shí)現(xiàn)毫秒級同步采集，完整記錄視覺畫面、動作狀態(tài)及相關(guān)語義信息。

2、第二條是跨游戲自動化控制與探索管線，覆蓋《GTA V》《荒野大鏢客2》《賽博朋克2077》等主流3A游戲，實(shí)現(xiàn)跨游戲的自動控制、自動探索、自動錄制與自動標(biāo)注。

3、第三條是開放平臺視頻自動挖掘管線，從開放平臺自動獲取游戲視頻，通過VLM評分篩選高質(zhì)量片段，自動完成鏡頭切分、過濾與結(jié)構(gòu)化標(biāo)注。

此外，Skywork團(tuán)隊(duì)構(gòu)建了自動化的離線標(biāo)注管線，為每條視頻估計(jì)相機(jī)位姿（Camera Pose）、米制深度（Metric Depth）以及相機(jī)內(nèi)參。

Skywork團(tuán)隊(duì)還構(gòu)建了基于多模態(tài)大模型的視頻Prompt自動標(biāo)注系統(tǒng)，該系統(tǒng)以固定長度的視頻窗口作為標(biāo)注單元，通過抽取關(guān)鍵幀理解場景內(nèi)容，并生成覆蓋整個(gè)窗口的統(tǒng)一描述，在保證時(shí)序一致性的同時(shí)顯著降低了標(biāo)注成本。

為了評估數(shù)據(jù)質(zhì)量，Skywork團(tuán)隊(duì)搭建了Scene-Quality自動評估系統(tǒng)，可以對每個(gè)場景進(jìn)行多維質(zhì)量分析，并輸出統(tǒng)一的質(zhì)量評分。

四、不到兩年四次迭代，被英偉達(dá)和Adobe作為基準(zhǔn)

Matrix-Game系列從1.0到3.5，進(jìn)化路徑非常清晰。

2025年3月，昆侖萬維發(fā)布的Matrix-Game 1.0版本是早期可交互世界模型的一次概念驗(yàn)證；

2025年8月，該系列模型發(fā)布2.0版本，實(shí)現(xiàn)了單卡B100、720P分辨率下25FPS的實(shí)時(shí)交互，成為業(yè)界首個(gè)開源方案；

Matrix-Game 3.0版本在2026年3月發(fā)布，5B參數(shù)蒸餾模型實(shí)現(xiàn)了720P下40FPS的實(shí)時(shí)生成，補(bǔ)齊了世界模型公認(rèn)的三大短板——記憶、長時(shí)程、實(shí)時(shí)性。

此次正式發(fā)布的3.5版本的最大變化是從游戲場景向真實(shí)場景全面擴(kuò)展，它支持多風(fēng)格動態(tài)切換與指令控制，引入了NPC交互能力，并全新升級了長時(shí)記憶能力。

更難得的是，Matrix-Game始終堅(jiān)持開源策略。

此前，DiT作者、紐約大學(xué)助理教授謝賽寧團(tuán)隊(duì)基于Matrix-Game 2.0的開源底座，發(fā)布了全球首個(gè)多人視頻世界模型Solaris，也從學(xué)術(shù)圈的實(shí)際使用上印證了這套開源方案的基礎(chǔ)模型價(jià)值。

英偉達(dá)和浙大聯(lián)合發(fā)布的工作Light Interaction同樣是基于Matrix-Game 3.0模型進(jìn)行研發(fā)。另外，英偉達(dá)的SANA-WM和Adobe的RELIC等國際頭部大廠世界模型工作，均將Matrix-Game相關(guān)模型作為對比基準(zhǔn)。

結(jié)語：昆侖萬維的目標(biāo)，是更廣闊的物理世界

昆侖萬維董事長兼CEO方漢給出判斷：2026年是“世界模型元年”。這個(gè)判斷意味著，在今年，世界模型的道路或許會逐漸收束，數(shù)據(jù)、訓(xùn)練的難題也會被逐一攻破。

Matrix-Game 3.5的定位正是回應(yīng)這個(gè)判斷。它不是只做渲染，也不是只做規(guī)劃，而是把狀態(tài)理解和動作生成放在同一個(gè)框架里訓(xùn)練，讓模型同時(shí)學(xué)會“理解世界”和“行動于世界”。

Matrix-Game 3.5同時(shí)也是昆侖萬維“4+3”AGI戰(zhàn)略的核心組成部分。在這一戰(zhàn)略框架下，視頻模型SkyReels、音樂模型Mureka、世界模型Matrix-Game、基座文本與多模態(tài)模型構(gòu)成了四大技術(shù)底座，AI短劇、AI音樂、AI游戲三大平臺經(jīng)濟(jì)體則承載著商業(yè)化落地。

在WAIC 2026的專場論壇上，昆侖萬維集中完成了四大核心模型的全球首發(fā)——世界模型只是其中的一塊拼圖，但也是最關(guān)鍵的那塊。

Matrix-Game 3.5正式亮相后，行業(yè)關(guān)注的將不只是它的技術(shù)參數(shù)，還有它能否真正跨越游戲與物理世界之間的那道門檻。

昆侖萬維的目標(biāo)，其實(shí)指向的是更廣闊的物理世界。