智源悟界·RoboBrain Orca：多模態表征世界模型

新智元報道

【新智元導讀】AI已經會生成答案，卻未必理解世界。智源Orca嘗試讓模型學習真實世界狀態變化，從「預測下一個詞」走向「預測下一狀態」，探索通用智能新路徑。

今天的AI，已經擁有了很多令人驚訝的能力：它可以回答問題、生成圖像，也可以接入機器人系統完成操作任務。

但如果把這些能力拆開來看，會發現它們往往仍然圍繞著某一種具體輸出展開：

語言模型預測下一個詞，視頻模型預測下一幀，機器人模型預測下一步動作。

這些能力很強，但它們共同留下了一個更底層的問題：

模型到底是在完成任務，還是已經理解了世界狀態本身如何變化？

• 當一個杯子被推倒，水會不會灑出來？

• 當機器人第一次抓取失敗，物體是否還在原處？

• 當一段做飯視頻從洗菜進入切菜，模型是否知道這不是簡單的畫面變化，而是一個事件狀態的推進？

• 當一個動作發生之后，環境、物體關系和任務進度會發生什么改變？

智源研究院悟界·RoboBrain Orca Team發布的技術報告《Orca: The World is in Your Mind》，正是圍繞這個問題展開。

Orca并不是一個更會聊天的大模型，也不是一個單純追求畫面真實感的視頻生成模型，更不是一個直接模仿動作軌跡的機器人策略模型。

它想探索的是一條更基礎的路線：

先讓模型學習世界表征，再從這個表征中讀出理解、預測和行動能力。

項目主頁：https://orca-wm.github.io

技術報告：https://arxiv.org/abs/2606.30534

悟界·RoboBrain Orca發布后，也在海外研究社區引發了一些關于「世界模型」和「多模態表征」的討論。

相比于只關注單一模態的生成效果，不少評論更關注Orca背后的核心思路：文本、圖像、視頻和動作，并不是彼此孤立的數據形式，而是同一個真實世界在不同模態下的投影。

也有評論認為，Orca更接近早期通用世界模型的形態，即先學習世界如何變化，再將這種世界表征讀出到理解、預測和行動任務中。

Orca在海外研究社區引發討論：從多模態表征、世界狀態建模，到早期通用世界模型的可能形態。

與此同時，Orca也登上了Hugging Face Daily Papers月度榜單，并在Hugging Face、X等社區獲得持續關注。

這些反饋從側面說明，世界模型的價值正在從「單一模態生成得像不像」，進一步走向「是否真正學到了可遷移、可讀出、可用于行動的世界表征」。

HF論文月榜排名第一

從Next X Prediction

到Next State Prediction

過去幾年，AI的很多進展都可以被概括為某種形式的「預測下一個X」。

語言模型預測下一個token，于是獲得了寫作、問答、代碼和推理能力；

視頻生成模型預測下一幀，于是可以生成越來越連貫、逼真的視頻；

具身模型預測下一步動作，于是機器人開始能夠完成抓取、放置、整理等任務。

但Orca Team認為，如果智能系統最終要走向真實世界，只預測某個外部輸出是不夠的。

因為語言、圖像、動作都只是世界的不同表現形式，真正關鍵的，是模型能否在內部形成一個關于世界狀態的統一表示。

Orca所探索的Next State Prediction，可以理解為：模型不只是學習「下一句話怎么說」、「下一幀長什么樣」、「下一步怎么動」，而是先學習當前世界處于什么狀態，以及這個狀態在自然演化、事件條件或任務意圖下，會如何轉移到另一個狀態。

這個狀態不一定直接等同于一張圖、一句話或一個動作序列。它更像是模型內部的「世界壓縮表示」。

在這個表示之上，文本、圖像和動作可以被看作不同的讀出接口：需要解釋時，讀成語言；需要預測未來畫面時，讀成圖像；需要控制機器人時，再接入動作模塊。

先利用多模態世界信號學習世界表征，再做好一切任務

這也是Orca的核心理念：

The World is in Your Mind.

世界并不是散落在各個模態接口里的碎片，而可以被模型內化成一個統一的潛在表征空間。

悟界·RoboBrain Orca想先教會模型什么？

如果把機器人比作一個正在學習的孩子，那么現在業內的很多技術路線更像是讓它一開始就進入具體工位，反復練習某個動作，直到學會完成某個任務。

Orca選擇了另一種順序：先不急著教它「怎么干活」，而是先讓它接受一套關于世界變化的基礎教育。

它需要知道，物體會下落，水會流動，遮擋不代表消失，接觸會改變物體位置，事件之間存在先后關系，任務會隨著環境狀態不斷推進。

只有當模型對這些變化有了基本理解，再用少量動作數據連接到機器人，本體和任務的訓練成本才有可能被降低，機器人的泛化能力也會提高。

Orca通過兩種學習模式，三類訓練信號學習世界表征和狀態演變

在Orca中，這套「世界教育」主要由兩種學習模式：無意識學習和有意識學習，包含三類信號共同完成。

第一類信號，是來自連續視頻的自然觀察（無意識學習稠密的、自然的狀態轉移）。

模型通過大量真實世界視頻，學習物體運動、場景演化、遮擋關系、接觸變化和自然動態。

這類學習不依賴人工動作標簽，也不要求模型一開始就知道任務目標，它更像是在客觀地看世界如何自己變化。

第二類信號，是來自事件的語義組織（有意識學習稀疏的、有具體意義的狀態轉移）。

真實世界并不是一幀一幀孤立發生的。

人類會把復雜過程組織成事件：洗菜之后才會切菜，切菜之后才可能下鍋；打開水龍頭之后，水流會改變食材狀態；手與物體接觸之后，物體的位置和關系可能發生變化。

Orca通過事件標注，讓模型學習在某個語義條件或事件條件下，世界狀態如何發生有意義的轉移。

第三類信號，是來自語言和問答的理解能力（有意識學習狀態的推理與表達）。

語言并不是Orca的最終目標，而是模型理解世界的重要接口。VQA和語言監督幫助模型把視覺狀態、事件結構和人類語義對齊，使模型不僅能看到變化，也能用語言理解變化背后的關系。

因此，Orca的訓練并不是單一監督信號的堆疊，而是讓模型同時「看見世界」、「理解事件」。

連續視頻提供密集的自然變化，事件監督提供稀疏但有語義的狀態轉移，語言問答則保留模型與人類意圖之間的接口。

12.5萬小時視頻、1.6億事件

讓世界表征可以繼續Scaling

為了讓模型真正從真實世界中學習狀態變化，Orca Team構建了一套大規模世界學習數據體系，包括：

• 約12.5萬小時視頻數據；

• 約1.6億條事件標注；

• 1150萬條VQA數據。

這些數據覆蓋第一視角交互、第三視角物體操作、機器人執行視頻、自然動態場景、事件級狀態轉移和通用視覺問答等多種來源。

換句話說，Orca并不是只在機器人軌跡、圖像編輯任務或單一問答數據上訓練，而是從更豐富的真實世界信號中學習統一的世界潛空間。

更重要的是，當前版本的Orca僅僅只是一次早期探索。

Orca團隊在技術報告中展示了scaling結果：

隨著預訓練數據規模增加，0.8B和4B模型的訓練損失持續下降；同時，從不同訓練階段取出的checkpoint也顯示，下游讀出性能會隨預訓練推進而同步提升。

這說明，Orca探索的不是一個只在小規模數據上有效的技巧，而是一條仍然具有擴展空間的世界學習路線。

如何證明學到的latent真的有用？

世界表征聽起來很有吸引力，但真正重要的問題是：它是否可以被驗證？

如果模型只是提出一個抽象概念，卻無法證明這個latent對下游任務有幫助，那么它很難成為通用世界模型的基礎。

因此，Orca的實驗設計非常強調「可檢驗性」。團隊通過設計一系列實驗來回答兩個問題：

• Q1：這套學習范式是否有效且具備scaling能力？

• Q2：一個好的世界表征能否帶來好的下游任務性能？

實驗發現，隨著訓練數據規模的擴大，Orca損失持續下降，并沒有發現飽和的現象，且4B模型loss的絕對值低于0.8B模型，這個現象回答了Q1。

此外，在預訓練完成后，團隊凍結Orca backbone，只在其后接入輕量的readout模塊，分別測試三類能力：

• 文本讀出，用于驗證模型是否能把世界表征轉換成理解和推理能力；

• 圖像讀出，用于驗證模型是否能根據當前狀態和條件預測未來視覺狀態；

• 動作讀出，用于驗證模型是否能把世界表征遷移到真實機器人控制中；

這樣做的關鍵在于：如果backbone保持凍結，而不同輕量接口仍能從同一個latent中讀出文本、圖像和動作能力，那么就能更有力地說明，真正起作用的是Orca學到的世界表征，而不是下游模塊重新從頭學會了任務。

實驗發現，隨著訓練數據規模的擴大，Orca在三個任務上的性能持續提升，且4B模型的能力顯著強于0.8B模型，這個現象進一步回答了Q1和Q2。

文本讀出

優勢集中在「世界如何變化」的問題上

在文本生成和視覺問答任務中，Orca與多類視覺語言模型和世界模型進行了對比，包括V-JEPA、Emu3、Qwen3.5、Gemma、MiniCPM-V、DeepSeek-VL2等。

結果顯示，在4B規模下，Orca在多項綜合評測中取得了更高的平均表現。

更值得注意的是，它的提升并不是平均分上的簡單堆高，而是集中體現在狀態轉移、事件演化、動態運動理解等更貼近「世界變化」的維度上。

在狀態轉移、動態運動的維度上，Orca的性能尤其顯著

這意味著，Orca獲得的能力并不只是看懂畫面里有什么，而是更接近理解畫面中的事物將如何發展、事件之間如何推進，以及當前狀態和未來狀態之間可能存在怎樣的關系。

對于一個世界模型來說，這一點比普通視覺問答能力更關鍵。因為真實世界并不是靜態圖片的集合，而是一個持續變化的系統。

圖像讀出

不是為了畫得漂亮，而是為了預測得合理

圖像讀出是Orca最直觀的能力之一。

給定當前圖像和指令，模型需要預測真實交互發生后的未來狀態。

這和傳統圖像生成并不是一回事。

傳統圖像模型往往擅長生成視覺上精美、合理、符合先驗的圖像，但真實交互預測要求模型尊重當前場景、物體關系、動作條件和物理約束。

它不能隨意補全一個看起來漂亮但并不存在的物體，也不能讓機器人形態消失、讓手憑空出現，或者忽略真實場景中的約束。

現有的圖像生成模型存在著指令不遵循、憑空出現物體和人手，以及刻板的物理印象：例如只要出現「紅色氣球」的描述就會畫面中出現一個充滿氣的紅色氣球，而并不判斷當前氣球的真實狀態。Orca的圖像生成會更加遵循真實世界的物理交互規律。

在真實場景交互基準PRICE上，FLUX 2、OmniGen2等圖像生成模型雖然能生成視覺質量較高的結果，但在狀態預測中常出現不符合物理過程的幻覺、無關物體插入、指令遵循不足、場景關系被破壞等問題。

Orca的圖像讀出更強調「未來狀態是否合理」。它能更好地保持機器人本體、物體布局、場景一致性和指令約束，生成更符合真實交互過程的下一狀態。

因此，Orca并不是把圖像讀出當作「畫圖能力」來展示，而是把它作為世界狀態預測的一種可視化驗證：模型是否真的知道，當前世界在某個條件下應該變成什么樣。

動作讀出

沒有動作預訓練，也能幫助機器人泛化

Orca最值得關注的實驗之一，來自真實機器人動作讀出。

在預訓練階段，Orca沒有使用帶action label的機器人軌跡。也就是說，它沒有提前學習某個機械臂應該如何移動，也沒有在大規模動作數據上模仿機器人策略。

但在下游動作任務中，研究團隊凍結Orca backbone，只接入一個從零訓練的DiT-style Action Expert。每個任務僅使用200條域內軌跡進行后訓練，機器人就能在多個 OOD 雙臂操作任務中獲得明顯增益。

這件事的重要性在于，它說明Orca并不是通過預訓練直接記住機器人動作，而是先學習了世界狀態變化。

當這種世界表征與少量動作數據連接起來后，機器人便有可能更好地判斷任務進展、物體狀態和下一步操作方向。

通過rule-based和PRM-as-a-Judge的評測方式，Orca取得了更高的執行成功率和更高的執行質量

在環境OOD和物體OOD設置下，Orca相比V-JEPA 2.1、Qwen3.5等視覺或語言表征基線，表現出更好的整體推進效果；在一些執行過程中，它也展現出更強的失敗恢復能力。比如第一次抓取失敗之后，模型不是簡單停住或陷入混亂，而是仍能根據當前狀態繼續嘗試，將任務向目標推進。

Orca在抓偏后，能夠繼續嘗試糾偏且最終取得進展

這對于具身智能尤其關鍵。

真實世界中的機器人不可能每一步都完美成功。一個只記住動作映射的模型，一旦遇到物體位置變化、環境擾動或初次失敗，很容易失去后續判斷。

而具備世界狀態表征的模型，則有機會理解「任務還沒有結束」「物體仍然存在」「當前狀態距離目標狀態還有差距」，從而繼續行動。

這也是Orca對具身智能最有想象力的地方：它并不主張完全拋棄動作數據，而是重新安排學習順序。先用可規模化的視頻、事件和語言信號學習世界，再用少量動作數據把這種表征接入具體機器人控制。

為什么三類訓練目標缺一不可？

為了進一步分析Orca的能力來源，團隊還進行了消融實驗，分別移除無意識狀態轉移、有意識事件轉移和VQA語言監督，觀察文本、圖像和動作讀出的變化。

實驗結果表明，三類目標各自承擔了不同作用。

VQA監督主要保留語言接口和語義理解能力，使模型能夠與人類描述、問題和任務意圖對齊；

連續視頻中的無意識學習為模型提供密集的自然動力學經驗，對動作讀出尤其重要；

事件條件下的有意識學習則把語言、事件和視覺狀態變化連接起來，是圖像預測能夠按照指令生成未來狀態的重要基礎。

只有三類目標共同訓練時，Orca才能在文本、圖像和動作三個方向上取得更均衡的表現。

這說明，世界表征并不是由某一種監督信號單獨塑造出來的。

它更像是多種世界信號共同約束下形成的潛在空間：有自然變化，有語義事件，有語言理解，也有狀態轉移。

基礎設施優化

FlagScale帶來4.4倍加速

智源團隊基于自研的FlagScale框架進行了FSDP2升級、分塊交叉熵損失、前向/后向預取系統級重構：

在H100集群上，這些優化將訓練吞吐量從StarVLA基線的0.66提升至2.91 Samples/Sec/GPU，實現了4.4倍的顯著加速。

悟界·RoboBrain Orca的意義

不是完成答案，而是提出路線

悟界·RoboBrain Orca仍然是一個早期版本。

團隊也在技術報告中明確指出了當前限制：

現階段主要依賴視覺和語言信號，距離真正覆蓋觸覺、力覺、聲音、本體感受等物理模態還有距離；

世界狀態學習仍部分依托已有視覺編碼器和多模態表征空間；

模型規模和數據使用量仍處在早期階段；

圖像預測、動作泛化和世界模型評測體系也仍需要進一步完善。

但正因為如此，Orca的價值并不在于宣稱「世界模型已經完成」，而在于提出了一條值得繼續擴展的方向：

智能系統能否先學習統一的世界狀態，再把這種狀態讀出為理解、預測和行動？

如果這條路線繼續向前，它可能不只服務機器人，也可能延伸到更廣泛的真實世界建模任務中。

物理系統、生命過程、宏觀環境、科學實驗，本質上都包含狀態、干預和轉移。不同領域當然需要不同數據和不同建模方式，但「學習世界狀態如何變化」這一問題本身，具有更基礎的意義。

未來，Orca還需要走向更原生的world-state modeling，接入更多物理模態，構建更獨立的狀態轉移評測體系，并形成數據生成、數據篩選、模型訓練和能力躍遷之間的閉環。

對Orca Team來說，這不是終點，而是一次關于通用世界基礎模型的早期驗證。

AI的下一步，也許不是更快地輸出答案、生成畫面或執行動作，而是先在內部建立一個足夠穩定、可預測、可遷移的世界。

The World is in Your Mind.

Orca想做的，正是讓模型先擁有這個「內在世界」。