盛趣游戲Alaya Lab打造"世界生成器"：一個AI驅動的無限游戲世界

這項由盛趣游戲旗下Alaya Lab團隊完成的研究，以預印本形式于2026年7月7日發布在arXiv平臺，論文編號為arXiv:2607.06291v1，研究方向歸屬于計算機視覺領域。感興趣的讀者可通過該編號在arXiv上查閱完整論文。

**游戲世界為什么這么貴、這么難改？**

做過游戲、玩過游戲或者只是旁觀過游戲開發過程的人，多少都會有一個感受：一款3D游戲的世界為什么那么精細，卻又那么"死板"？每一棵樹、每一棟建筑、每一套怪物的行為邏輯，背后都是一群美術、程序、策劃日以繼夜的勞動成果。更讓人頭疼的是，這些內容一旦做進去，要修改就得把整條流水線重新走一遍。想在已經上線的游戲里換個地圖風格，或者臨時加一種新的戰斗技能，成本之高往往超出普通玩家的想象。

Alaya Lab的研究者們想換一種思路：既然AI已經能夠生成逼真的視頻，能不能讓AI直接"演出"游戲世界，而不是由人類一筆一筆地畫出來？玩家往前走一步，AI就預測下一幀畫面應該是什么樣；玩家揮劍攻擊，AI就根據這個動作即時渲染出對應的效果。這樣的系統不需要預先設計好每一個角落，世界是在玩家探索的過程中被"生成"出來的。

這套系統被命名為**AlayaWorld**，它是一個完整的開源框架，覆蓋了從數據準備、模型訓練、推理加速到實際部署的全流程。更重要的是，它能夠在普通電腦上以720p分辨率、每秒24幀的速度實時運行，讓玩家真正感受到"即時生成"的世界。

一、先理解這件事到底難在哪里

用一個貼近生活的類比來鋪墊一下背景會更容易理解：普通的視頻生成，有點像讓廚師按照固定菜譜做一道菜，菜譜寫清楚了，端出來的東西也基本是確定的。但交互式的游戲世界生成，更像是一位廚師在一場完全即興的烹飪秀里，根據現場觀眾隨時喊出的要求——"加辣""換成素食""來點湯"——當場調整下一道菜，而且每一道菜都要和前面的風格、口味保持連貫，不能忽咸忽淡。

研究團隊把這件事面臨的困難拆解為四個核心問題。

第一個問題叫**控制**：玩家能不能真正自由地探索和行動？不是只能往前走，而是可以隨時轉彎、可以施法、可以召喚怪物，行為不應該被預設的物理規則所約束。

第二個問題叫**一致性**：如果玩家在某個地方看到了一座古廟，離開之后繞了一圈再回來，那座古廟還應該是同一座，而不是突然變成了一片草地。這聽起來理所當然，但對AI來說非常困難——它"記住"已經生成過的畫面，本身就是一項艱巨的工程。

第三個問題叫**穩定性**：AI生成視頻的方式是"自回歸"的，也就是說，每一幀都是根據前面的幀預測出來的。就像傳話游戲一樣，一開始傳出去的信息只有輕微失真，但經過幾十次、幾百次的傳遞，最終可能面目全非。如何讓AI在生成了幾分鐘甚至更長的視頻之后，畫面質量依然不崩塌，是一個真實存在的技術難題。

第四個問題叫**實時性**：前面三個問題如果都解決了，但系統每生成一秒的畫面需要等待十秒，那對于玩游戲來說依然毫無實用價值。系統必須足夠快，快到玩家感覺不到延遲。

AlayaWorld的整個設計思路，都是圍繞著回應這四個問題展開的。

二、玩家怎么控制這個世界：攝像機與文字指令

游戲里的"移動"本質上是攝像機視角的變化——你往前走，意味著鏡頭向前推進；你轉頭，意味著鏡頭跟著旋轉。讓AI理解并執行這些攝像機指令，是解決"控制"問題的第一步。

研究團隊梳理了學術界在這個方向上積累的三類方法，最終選擇了一種兼顧精準性和效率的組合方案。

第一類方法是把攝像機參數直接當成一個"條件信號"喂給AI。打個比方，就像給廚師一張紙條，上面寫著"今天要做偏甜的"，然后讓廚師自己理解這意味著什么、怎么體現在菜里。斯坦福等機構提出的CameraCtrl就是這個思路，用一種叫做"普呂克射線嵌入"的數學工具把攝像機的位置和朝向編碼成數字，再注入到AI模型的注意力層里。這類方法靈活，但AI能不能準確"讀懂"這張紙條，取決于它訓練得夠不夠好。

第二類方法是把攝像機的幾何信息直接嵌入到AI模型的內部結構里。這就像是直接改造廚師的大腦，讓他天生就對"甜度信號"特別敏感，而不是靠后天的文字指示。華為等機構提出的PRoPE方法，把攝像機的視錐（包括內參和外參）編碼成一種"投影相對位置編碼"，讓AI在處理每一個圖像區域時，都天然考慮到該區域的幾何位置。還有一種思路是用一種叫AdaLN的輕量級"歸一化調制"方式，把攝像機信息注入到AI的特征層中，計算開銷極小。

第三類方法是最直覺化的：先把場景的三維結構估計出來，按照玩家要去的視角重新渲染一張參考圖，再讓AI以這張參考圖為基礎進行生成。英偉達提出的GEN3C就是這個思路——維護一個三維點云"緩存"，每次生成新畫面時先從這個緩存里渲染出當前視角下的參考畫面，AI只需要負責"補全"那些參考圖里看不到的部分（比如被柱子遮擋的墻角）。這種方法控制最精準，但計算鏈路更長。

AlayaWorld的選擇是把第二類和第三類組合起來。一方面，維護一個三維緩存，并按玩家的目標視角渲染出參考畫面，給AI提供具體、直觀的視覺證據；另一方面，通過輕量的AdaLN調制方式向AI骨干網絡注入攝像機信息，讓模型在內部也具備視角感知能力。這兩條路徑分工明確：三維緩存負責"你之前看到過什么、現在從這個角度看應該長什么樣"，AdaLN調制負責"你當前的攝像機姿態是什么"。兩者相互配合，既保證了視角跟隨的精準度，也避免了過重的計算負擔。

除了攝像機的移動，AlayaWorld還支持另一種更自由的交互方式——**文字指令驅動的即時動作**。玩家可以在游戲進行中隨時輸入新的文字描述，比如"召喚一條火龍"或者"開始下雨"，系統會在當前生成片段結束之后的下一個"片段"里，切換到這個新的文字描述來生成內容，而不需要把整個游戲視頻從頭重新生成一遍。這個機制被稱為"提示詞切換"，在技術層面它和一些圖像編輯工作中的"注意力層提示詞編輯"思路是一脈相承的。這意味著玩家的每一次文字指令，都能在不到一秒的延遲后反映在畫面上，真正實現了"說什么、生什么"的即時交互。

三、如何讓AI"記住"它之前生成的世界

現在來到一致性問題，也就是那個"離開再回來，古廟還是古廟"的難題。

AI生成視頻時的基本工作方式，是每次看到最近的一小段視頻，然后預測下一段。就像一個廚師只能記住最近三道菜的味道，然后決定下一道菜的調味——如果他在第一道菜里放了很多花椒，但第三道菜之后這段記憶就"過期"了，等玩家繞了一大圈回到同一個地方，他早就忘了那里應該是什么風格。

研究團隊把解決這個問題的各種方法，按照"用什么方式索引歷史記憶"分成了兩大類。

**按時間索引的記憶**，是按照"先后順序"來保存歷史：離現在越近的幀被記住的可能性越高，時間越久遠的幀越容易被遺忘。這類方法的代表包括直接把過去的幀全部保留（代價是隨著時間推移內存會越來越大）、把歷史幀壓縮成一個緊湊的"摘要"（比如FramePack這類方法，把大量歷史信息打包進一個固定大小的預算里）、以及通過一種叫"狀態空間"的循環計算結構隱式地傳遞歷史信息。這類方法擅長維持短期的動態流暢性，但對于"玩家離開很久之后再返回"這種場景，時間越久遺忘越多，本質上無法保證一致性。

**按空間索引的記憶**，則是按照"在哪里看到的"來組織歷史：同一個地點的記憶，無論是多久以前觀察到的，都應該可以被找到并拿來參考。這類方法里，比較輕量的是WorldMem（把歷史幀和對應的攝像機位姿一起存儲，用空間重疊程度來檢索）；更重量級的是GEN3C這類基于三維點云的方案，把過去生成過的每一幀都"反投影"到三維空間，形成一個持續更新的三維場景緩存，下次訪問同一位置時就從這個緩存里渲染出參考圖。

AlayaWorld的選擇是把這兩類記憶機制結合起來使用。三維緩存負責空間層面的持久性——哪里有一根柱子、哪里有一片水池，這些幾何和外觀信息被錨定在空間坐標里，不會隨時間流逝而消失。但三維緩存有一個天然的局限：它只能記住靜態的結構，記不住動態的變化——比如剛才在廣場里奔跑的一群NPC，或者剛剛發生的一場爆炸效果。為了補齊這個短板，研究團隊額外引入了一個歷史幀壓縮模塊（參考了Frame Preservation這一方法），把最近一段時間的幀歷史壓縮成一個輕量的嵌入向量，專門用來捕捉近期的動態變化和全局敘事連貫性。兩套機制各司其職，共同構成了AlayaWorld的記憶系統。

四、如何防止AI在長時間運行后"越走越偏"

穩定性問題，或者說"長時間生成不崩塌"的問題，其根源在于一種叫做**暴露偏差**的現象。

訓練AI的時候，研究者們給它展示的都是干凈、高質量的視頻幀——相當于讓廚師在練習時用的都是最好的食材。但實際使用中，AI會基于自己之前生成的幀來預測下一幀——那些幀已經包含了一定程度的誤差和瑕疵，相當于廚師突然被要求用自己上一道菜的殘渣來做下一道菜。隨著時間推移，誤差像滾雪球一樣越來越大，畫面逐漸偏離正常軌道，出現模糊、重復、風格漂移等各種問題。

學術界對這個問題提出過多種應對方向。一種是改變訓練方式——讓AI在訓練階段就接觸自己生成的、帶有瑕疵的幀，而不是只看干凈的標準答案，從而學會在不完美的輸入條件下也能輸出穩定的畫面，這叫Self-Forcing。另一種更系統的方案叫做"錯誤回收微調"：專門收集AI在長時間運行中積累的誤差，把這些誤差作為帶標簽的"擾動樣本"注入訓練流程，讓AI學會識別并糾正這類誤差。還有一種思路是從生成調度上入手——不嚴格按照時間順序一幀接一幀地生成，而是先生成稀疏的關鍵幀作為"錨點"，再填充中間幀，這樣誤差不會無限制地向后傳播。

AlayaWorld的應對策略基于Helios這項研究的思路，把穩定性作為一個**訓練時的魯棒性問題**來處理。研究團隊在訓練中主動向AI展示"已經發生漂移的歷史幀"，讓模型習慣于在不完美的歷史記錄下繼續生成合理的內容。更進一步，AlayaWorld引入了一個**錯誤銀行**機制：把AI在長時間運行中積累的各種典型誤差收集起來，保存成一個"錯誤庫"，在訓練時把這些誤差樣本隨機注入到訓練數據的記憶條件和預測目標中。與一些只把錯誤注入"預測目標"的方法不同，AlayaWorld同時把錯誤注入了"記憶條件"和"預測目標"——這模擬的是更真實的推理場景：不僅要預測的內容本身可能有誤差，連用于條件的歷史幀也可能是有問題的。通過這種雙向訓練，模型不僅學會了"如何從一個干凈的狀態繼續前進"，也學會了"如何在一個已經有點亂的狀態下穩住"。

五、怎么讓這一切跑得足夠快

前面講的三個問題，都關乎生成內容的質量。但再好的內容，如果需要等待十秒才能看到一秒的畫面，對于交互式游戲來說也是毫無意義的。實時性，是把以上所有技術變成可玩產品的最后一道關卡。

研究團隊把實時性分成了兩個維度的延遲來分別處理。

第一個維度是**視覺延遲**，也就是從系統決定生成到畫面出現在屏幕上需要多長時間。降低視覺延遲的核心手段是減少每次生成所需的計算步驟。擴散模型（Diffusion Model）的工作原理是從一張隨機噪聲圖開始，反復"去噪"幾十步甚至上百步，才能得到最終的清晰畫面——每一步都需要一次完整的模型計算，步驟越多越慢。為了解決這個問題，研究者們發明了一類叫做"知識蒸餾"的技術：用一個慢但高質量的"教師模型"來指導訓練一個快但同樣高質量的"學生模型"，讓學生模型只需要四步甚至一步就能達到教師模型幾十步的效果。AlayaWorld采用了其中一種叫DMD的分布匹配蒸餾方法，把每個片段的生成步驟壓縮到四步，這是實現實時渲染的關鍵技術基礎之一。

第二個維度是**語義延遲**，也就是玩家輸入了新的指令之后，畫面需要多長時間才能反映出來。對于流式生成的系統來說，如果AI正在生成一段很長的視頻片段，那么新指令就只能等到整段視頻生成完之后才能被采納，這段等待時間就是語義延遲。AlayaWorld的解決方案是讓每次生成的片段非常短——大約一秒鐘的視頻對應一個生成單元——這樣玩家的新指令最多只需要等待一個片段的時間就能生效。再配合前面提到的"提示詞切換"機制，在片段邊界直接替換文字條件而不重新生成整個序列，交互的響應速度就能真正達到"說變就變"的程度。

整套運行配置是這樣的：AlayaWorld在LTX-Video 2.3這個開源視頻生成模型的基礎上進行了微調，以720p分辨率、24幀每秒的速度進行自回歸生成，每個片段對應約一秒的視頻，每次生成使用四步去噪，整體延遲控制在可交互的范圍內。

六、實際效果怎么樣

研究團隊對AlayaWorld進行了多個維度的驗證，并與目前其他代表性的交互式世界模型進行了對比。

在攝像機控制方面，研究者展示了在多種不同場景下（包括室內、室外、第一人稱和第三人稱視角）的生成效果，AlayaWorld能夠準確跟隨指定的視角運動，同時保持場景的幾何合理性和外觀連貫性，不會因為視角變化而出現建筑物扭曲或地面穿幫。

在即時動作方面，研究者展示了通過切換文字指令來觸發不同事件的效果，包括在沙漠場景中觸發法術光效、在寺廟前召喚效果，以及切換到不同的天氣和氛圍。切換發生在片段邊界，過渡平滑，不影響已經生成的內容。

在一致性對比方面，研究團隊設計了"離開再返回"的軌跡測試：讓攝像機先離開一個區域，經過若干個片段的探索后再回到原地，觀察返回時的場景是否與離開前一致。與Hunyuan-World 1.5和LongStar-Post等對比模型相比，AlayaWorld在返回時能保持更高程度的幾何布局和紋理一致性，其他模型則表現出不同程度的場景"重塑"現象——比如家具位置改變、畫作內容變化等。

在長時程生成方面，研究者展示了連續生成一分鐘視頻的效果，覆蓋多個不同場景的切換，視覺質量在整個過程中保持穩定，沒有出現明顯的模糊化或重復幀現象。

還有一項頗為直觀的演示：研究者讓完全相同的導航軌跡在七種不同的視覺風格下分別生成，包括真實感風格、我的世界像素風、水墨畫風、油畫風、賽博朋克風、像素藝術風，以及塞爾達傳說風格。結果顯示，盡管七個版本的畫面風格差異極大，但場景的幾何結構、攝像機路徑和語義內容高度一致——同一棵樹出現在同一個位置，同一條路以同樣的走向延伸，只是"穿了不同的衣服"。這說明AlayaWorld的控制信號能夠跨風格穩定地起作用，不會因為換了畫風就丟失對內容的把控。

七、這個項目的開放程度和未來計劃

AlayaWorld定位為一個全棧、開源、長期維護的項目，意圖為視頻世界模型這個領域提供一個可復現的基礎平臺。

"全棧"意味著它覆蓋了從原始視頻數據的清洗和標注，到模型架構設計、分布式訓練配置、推理加速實現，再到實際部署服務的每一個環節，而不只是提供一個訓練好的模型權重。"開源"意味著代碼、訓練流程、評測工具和文檔都會對外公開。"長期維護"則意味著這不是一篇發完論文就擱置的工作，團隊計劃持續迭代和改進。

論文在發布時（2026年7月7日）說明，完整的技術細節、實驗數據和代碼庫計劃在7月中旬正式發放。對于想親自實驗或在此基礎上開展新研究的開發者和研究者來說，這是一個值得關注的時間節點。

說到底，AlayaWorld做的這件事，是在嘗試改變"游戲世界從哪里來"這個根本性的問題。傳統游戲的世界是人工搭建的，固定、昂貴、難以修改；AlayaWorld的世界是AI在玩家探索的過程中即時生成的，理論上可以無限延伸、隨意改變風格、以極低的成本適配各種場景需求。當然，目前這套系統距離取代一款成熟3D游戲的體驗還有相當的距離，在復雜動態物體的長期追蹤、精細的物理交互、以及高度個性化的游戲系統設計方面，還有大量問題等待解決。但它提供了一個可用的、開源的起點，讓更多研究者可以在這個方向上接力探索。對于具身智能（讓機器人在虛擬環境中學習操作技能）這個領域來說，AlayaWorld能夠生成多樣化的真實感場景這一能力，也可能帶來獨立于游戲之外的應用價值。一個值得思考的問題是：如果未來的游戲世界是AI根據每個玩家的行為實時生成的，那么所謂"游戲設計"的本質，會不會從"設計一個固定的世界"變成"設計一套AI生成世界的規則"？

有興趣深入了解的讀者可以通過arXiv編號2607.06291查閱完整論文，或訪問項目主頁獲取更多演示材料。

Q&A

Q1：AlayaWorld和普通視頻生成模型有什么區別？

A：普通視頻生成模型是按照固定指令一次性生成一段視頻，沒有交互性。AlayaWorld則是一個實時交互系統，玩家可以通過攝像機移動和文字指令即時影響下一秒的畫面內容，類似于一個由AI驅動的即時渲染引擎，而不是一個視頻播放器。

Q2：AlayaWorld用到的"三維緩存"是怎么幫助記住場景的？

A：三維緩存的工作方式是把AI已經生成過的每一幀畫面，通過深度估計"反投影"到三維空間里，形成一個持續積累的點云地圖。當玩家返回曾經到訪過的區域時，系統從這個三維地圖中按當前視角重新渲染出一張參考圖，給AI提供"這個地方之前長這樣"的視覺證據，從而保證場景的一致性。

Q3：AlayaWorld能用于游戲之外的領域嗎？

A：可以。研究團隊明確提到了具身智能和機器人模擬場景。由于AlayaWorld能夠生成多樣化的真實感交互環境，包括室內外場景和不同風格，它可以作為虛擬訓練平臺，讓機器人或AI智能體在不接觸真實物理世界的情況下學習各種操作和導航技能。