河北
允中 發自 凹非寺
量子位 | 公眾號 QbitAI
今天的AI已經很會“輸出”了。
- 語言模型預測下一個token，于是可以回答問題、寫文章、寫代碼。
- 圖像和視頻模型預測下一幀，于是可以生成越來越逼真的視覺內容。
- 具身模型預測下一步動作，于是機器人開始能夠完成抓取、放置、整理等任務。
但這些能力背后，仍然有一個更底層的問題：模型到底是在學會某一種輸出，還是已經理解了世界狀態本身如何變化？
智源研究院悟界·RoboBrain Orca Team發布的技術報告Orca: The World is in Your Mind，想探索的正是這個問題。
項目主頁：https://orca-wm.github.io
技術報告：https://arxiv.org/abs/2606.30534
悟界·RoboBrain Orca發布后，迅速獲得了海外研究社區的關注。
多位研究者將其討論重點，放在了“真正的多模態表征世界模型”上：
Orca并不是把文本、圖像、視頻、動作簡單拼接在一起，而是嘗試在統一的世界潛空間中，學習它們背后的共同狀態與演化規律。
也有評論認為，Orca更接近早期通用世界模型的形態，即先學習世界如何變化，再將這種世界表征讀出到理解、預測和行動任務中。
△Orca在海外研究社區引發討論：從多模態表征、世界狀態建模，到
與此同時，Orca也登上了Daily Papers月度榜單，并在Hugging Face、X等社區獲得持續關注。
可以看到，世界模型正在成為下一階段AI研究中被持續關注的重要方向。
△HF論文月榜排名第一
從Next token, Frame, Action Prediction到Next-State Prediction
悟界·RoboBrain Orca并非一個更會聊天的大模型，也不是一個單純追求視覺真實感的視頻生成模型，更不是一個只面向機器人的動作策略模型。
它想走的是一條更基礎的路線：
先讓模型學習統一的世界狀態表征，再從這個表征中讀出理解、預測和行動能力。
換句話說，Orca關注的是：當前世界處于什么狀態，以及這個狀態在自然演化、事件條件或外部干預下，會如何轉移到另一個狀態。
這就是Orca Team所探索的Next-State Prediction。
“我們不會讓一個3歲小孩進工廠，打10萬小時螺絲。”這是Orca Team解釋這項工作時，用過的一個比喻。
這句話不只是在說機器人，也是在說今天很多AI模型的共同處境：語言模型被訓練去預測下一個詞，視頻模型被訓練去生成下一幀，具身模型被訓練去模仿下一步動作。
它們看起來任務不同，但底層邏輯很像——一上來就把模型放進某個具體工位，讓它圍繞某一種輸出反復練習。
這條路當然有效，但問題是，一個還沒有理解世界的模型，真的能只靠“打螺絲”，走向通用嗎？
Orca團隊的判斷是：順序可能要反過來。別急著讓模型學“下一步怎么動”，先讓它上一堂關于世界的“義務教育”課。
先利用多模態世界信號學習好世界表征；再做好一切任務
這也是Orca的核心哲學：The World is in Your Mind.
悟界·RoboBrain Orca如何學習世界變化？
人在不會講話之前，就能通過看學習到客觀的世界，例如風吹葉落；在成長中，人類還可以通過一句話、一本說明書感知并理解具體事件。
Orca將它們抽象為兩類互補的學習方式：無意識學習和有意識學習
第一類是無意識學習。
模型從連續視頻中學習自然、稠密的狀態變化，不依賴顯式語言標注。
比如一個物體如何移動，手與物體如何接觸，場景如何隨時間演化。這類學習對應真實世界中大量連續觀察，幫助模型捕捉自然動態。
△圖片為AI生成
第二類是有意識學習。
模型引入語言和事件，讓狀態轉移不只來自連續觀察，也可以被語義條件約束。
語言可以描述一個事件、一個任務意圖，或一個要達到的目標狀態。模型需要在當前觀察和語言條件之間建立聯系，學習稀疏但更有意義的狀態變化。
兩類學習共同服務于同一個目標：構造一個能夠表達世界狀態、并支持狀態轉移建模的world latent。
12.5萬小時視頻、1.6億事件助力模型學習世界
Orca Team構建了自動化篩選、標注管線，從海量的互聯網數據中處理后，得到了12.5萬小時視頻、1.6億條事件標注和1150萬條VQA的數據庫存
這些數據共同構成了Orca學習狀態轉移的基礎。
這些數據覆蓋第一視角交互、第三視角物體操作、機器人執行視頻、自然動態場景、事件級狀態轉移和通用視覺問答等多種來源。
換句話說，Orca并不是只在機器人軌跡、圖像編輯任務或單一問答數據上訓練，而是從更豐富的真實世界信號中學習統一的世界潛空間
基礎設施優化：FlagScale帶來4.4倍加速
智源團隊基于自研的FlagScale框架進行了系統級重構：
- FSDP2升級：實現更靈活的參數與優化器狀態分片，并對輕量級視覺塊取消分片以減少調度開銷；
- 分塊交叉熵損失（Chunked Cross-Entropy Loss）：避免在前向傳播中一次性實例化完整的Logits張量，大幅降低顯存峰值；
- 前向/后向預取（Forward/Backward Pre-fetching）：讓FSDP的All-Gather通信與當前層的計算充分重疊。
在H100集群上，這些優化將訓練吞吐量從StarVLA基線的0.66提升至2.91 Samples/Sec/GPU，實現了4.4倍的顯著加速。
One for All：一個world latent，統一承載理解、預測與行動
世界表征聽起來很誘人。但真正重要的問題是：它能不能被驗證？
Orca的實驗設計，圍繞兩個問題展開：
- 第一，隨著預訓練數據增加，world latent會不會變強？
- 第二，一個更強的world latent，能不能帶來更好的下游能力？
為了回答這兩個問題，團隊沒有把Orca backbone和下游任務一起端到端訓練到最強。
相反，他們在下游階段凍結Orca backbone，只訓練輕量的readout模塊，這樣做很關鍵
如果整個系統一起訓練，最后效果變好了，很難判斷到底是Orca的world latent有用，還是后面的decoder或policy自己重新學會了任務。
但如果backbone保持凍結，只換不同的輕量讀出接口，仍然能讀出語言、圖像和動作能力，就更能說明：真正提供信息的是Orca學到的世界表征。
因此，Orca設計了三類readout：
- 文本讀出，用于驗證模型能否把世界表征轉成理解和推理能力。
- 圖像讀出，用于驗證模型能否根據當前狀態和條件，預測未來視覺狀態。
- 動作讀出，用于驗證模型能否把世界表征遷移到真實機器人控制中。
這三類能力分別對應：理解、預測、行動，也就是一個世界模型最應該具備的三件事。
Scaling帶來的，是更強的世界表征
實驗中，一個重要觀察是：隨著預訓練數據規模增加，Orca的訓練損失持續下降，沒有很快飽和。
更關鍵的是，從不同訓練階段取出的checkpoint也顯示出：隨著預訓練推進，文本、圖像和動作readout的表現同步提升。
這說明Orca探索了一條具有擴展潛力的世界學習路線。
值得注意的是，所有對比結果均來自于一套預訓練主干ckpt，并且沒有使用一條刷榜數據。
文本讀出：關注“世界如何變化”
在文本生成和視覺問答任務中，Orca與多類視覺語言模型和世界模型進行了對比。
結果顯示，在4B規模下，Orca在多項綜合評測中取得了更高的平均表現。
但更值得注意的是，它的提升并不是平均分的簡單堆高，而是集中體現在狀態轉移、事件演化、動態運動理解等維度上。
這很符合Orca的出發點：讓模型理解畫面中的事物接下來會如何發展、事件之間如何推進、當前狀態和未來狀態之間有什么關系。
對于一個世界模型來說，這比普通視覺問答更關鍵。
因為真實世界不是靜態圖片的集合，而是一個持續變化的系統。
圖像讀出：不是成為一名“畫家”，而是為了預測得合理
這和傳統圖像生成不是一回事。
很多圖像模型擅長生成視覺上精美、符合先驗的畫面。
但真實交互預測要求模型尊重當前場景、物體關系、動作條件和物理約束：
- 它不能隨意補出一個看起來合理但并不存在的物體。
- 不能讓機器人本體消失。
- 不能破壞原本的空間關系。
- 也不能忽略指令真正要求的狀態變化。
在真實交互場景中，Orca的圖像讀出更強調“未來狀態是否合理”。
它能更好地保持機器人形態、物體布局、場景一致性和指令約束，生成更符合真實交互過程的下一狀態。
所以，Orca展示圖像讀出，并不是為了證明自己會“畫圖”，而是為了把圖像作為一種可視化驗證：模型是否真的知道，當前世界在某個條件下應該變成什么樣。
△現有的圖像生成模型存在著指令不遵循、憑空出現物體和人手，以
最驚喜的是具身：預訓練沒看過action，也能幫機器人
悟界·RoboBrain Orca最值得關注的實驗之一，來自真實機器人動作讀出。
在預訓練階段，Orca沒有使用帶action label的機器人軌跡。
也就是說，它沒有提前學習某個機械臂應該如何移動，也沒有在大規模動作數據上模仿機器人策略。
但在下游動作任務中，團隊凍結Orca backbone，只接入一個從零訓練的DiT-style Action Expert。每個任務只使用200條域內軌跡進行后訓練。
二元成功率、白盒過程打分和黑盒模型打分結果顯示，在物體泛化和場景泛化的OOD任務中，Orca仍然能帶來明顯增益。
這件事的重要性在于：Orca并不是通過預訓練直接記住機器人動作，而是先學到的是世界狀態變化。
尤其是在失敗恢復上，這一點更明顯。
三類訓練目標，缺一不可
為了進一步分析Orca的能力來源，團隊還做了消融實驗。
分別移除無意識狀態轉移、有意識事件轉移和VQA語言監督，觀察文本、圖像和動作讀出的變化。
結果顯示，三類目標各自承擔了不同作用。
悟界·RoboBrain Orca還只是開始
悟界·RoboBrain Orca并不想把自己包裝成“世界模型已經完成”。
相反，Orca團隊在技術報告中充分討論了當前限制。
Orca的價值，不在于宣稱自己已經完成了世界模型，它更像是在給當前紛亂的World Model討論，提出一個新的坐標系：
世界模型不應只被某一種輸出模態定義
它更應該學習世界如何被表征、如何變化，以及這種表征如何支持理解、預測與行動。
未來，這條路線也不只服務機器人。物理系統、生命過程、宏觀宇宙、微觀量子、科學實驗，本質上都可能包含狀態、干預和轉移。
不同領域當然需要不同數據和建模方式，但“學習世界狀態如何變化”這個問題本身，具有更基礎的意義。
AI的下一步，也許不是更快地輸出答案、生成畫面或執行動作，而是先在內部建立一個足夠穩定、可預測、可遷移的世界。
The World is in Your Mind.
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
