視頻生成模型會(huì)「推理」嗎？303道題全面揭示世界模型的推理短板

視頻生成模型（Video Generative Models）是近年最炙手可熱的方向。從 Sora、Veo 到 Kling、Seedance，它們能生成以假亂真的畫面，對(duì)時(shí)間動(dòng)態(tài)與物理規(guī)律的模擬令人驚嘆。越來越多證據(jù)表明，它們已在大規(guī)模視頻數(shù)據(jù)中隱式學(xué)到了某種「世界模型」（World Model）。

但一個(gè)關(guān)鍵問題被長(zhǎng)期忽視：當(dāng)模型生成一段看似「合理」的視頻時(shí)，它真的在一幀幀地連貫推理嗎？還是只畫出了一個(gè)看似正確的結(jié)果？

我們把這一維度正式定義為推理一致性（Reasoning Coherence）：生成視頻中的事件，能否在幀與幀之間保持因果一致、可信的演化。

已有一些工作開始評(píng)估視頻模型的推理：有的只看「最后一幀」判斷結(jié)果對(duì)錯(cuò)，有的只評(píng)單個(gè)物理現(xiàn)象是否合理，但都沒有刻畫「推理一致性」，也就難以回答：到底是推理鏈上哪一步走錯(cuò)，導(dǎo)致了整個(gè)任務(wù)失敗。

MME-CoF-Pro 基準(zhǔn)

該團(tuán)隊(duì)此前已提出 MME-CoF（arXiv:2510.26802，已被 CVPR 2026 Findings 接收）——首個(gè)系統(tǒng)探究視頻模型 Chain-of-Frame（CoF）推理潛力的研究，覆蓋 12 個(gè)維度。

如今，已被 ECCV 2026 接收的 MME-CoF-Pro 在此基礎(chǔ)上全面升級(jí)：類別從 12 擴(kuò)至 16，把粗粒度定性評(píng)估升級(jí)為人工校驗(yàn)的過程級(jí) Reasoning Score，并首次將「推理引導(dǎo)」（文字/視覺提示）作為可控變量納入評(píng)測(cè)。

• 論文：
• https://arxiv.org/abs/2603.20194v1
• 項(xiàng)目主頁(yè)：
• https://video-reasoning-coherence.github.io/
• Huggingface：
• https://huggingface.co/datasets/yqi19/mme-cof-pro
• GitHub：
• https://github.com/yqi19/MME-CoF-Pro

這項(xiàng)工作由美國(guó)東北大學(xué)（Northeastern University）聯(lián)合香港中文大學(xué)（CUHK）、北京大學(xué)（Peking University）與 NVIDIA 共同完成。MME-CoF-Pro 是業(yè)界首個(gè)顯式將「推理引導(dǎo)」作為可控變量、并在過程級(jí)別（process-level）評(píng)估視頻推理一致性的基準(zhǔn)，同時(shí)提供了細(xì)粒度的錯(cuò)因分析與有趣的機(jī)理發(fā)現(xiàn)。

數(shù)據(jù)構(gòu)成

MME-CoF-Pro 共包含303個(gè)精心策劃的圖像 - 文字 - 視頻推理樣本，370張圖像，覆蓋16個(gè)推理類別，從 27 個(gè)現(xiàn)有的真實(shí)與合成基準(zhǔn)中篩選構(gòu)建，并經(jīng)過領(lǐng)域?qū)＜胰喨斯ばｒ?yàn)。

這 16 個(gè)類別被組織為四大能力組，從底層感知逐級(jí)遞進(jìn)到高層任務(wù)推理：

• 感知推理（Perceptual）：視覺細(xì)節(jié)、旋轉(zhuǎn)、物體計(jì)數(shù)；
• 空間與結(jié)構(gòu)推理（Spatial & Structural）：視覺軌跡、真實(shí)世界空間、2D / 3D 幾何；
• 物理與因果推理（Physical & Causal）：物理規(guī)律、4D 動(dòng)態(tài)、自然科學(xué)；
• 任務(wù)導(dǎo)向推理（Task-oriented）：具身操作、GUI 交互、醫(yī)學(xué)影像、表格圖表、文本 / 代碼、視覺邏輯。

與以往工作最大的不同在于：MME-CoF-Pro 把「推理引導(dǎo)」當(dāng)成一個(gè)可顯式控制的變量。每個(gè)樣本都提供 No Hint 與 Text Hint 兩種設(shè)置；其中 8 個(gè)感知要求最高的類別（記為 MME-CoF-Pro-mini）還額外提供 Visual Hint。除提示部分外，其余指令完全一致：

• No Hint（無提示）：標(biāo)準(zhǔn)設(shè)置，模型只能憑任務(wù)指令獨(dú)立推理；
• Text Hint（文字提示）：在指令中補(bǔ)充關(guān)鍵推理步驟的文字描述；
• Visual Hint（視覺提示）：在輸入圖像上畫出邊界框 / 箭頭 / 軌跡來引導(dǎo)。

因?yàn)橹挥刑崾驹谧儭⑵溆嗤耆嗤?，任何性能差異都可以因果地歸因到推理引導(dǎo)本身。

Reasoning Score：直擊推理鏈路的「手術(shù)刀」

傳統(tǒng)評(píng)測(cè)只看生成「質(zhì)量」，無法回答模型到底懂不懂世界。我們提出過程級(jí)指標(biāo) Reasoning Score（RS）：為每個(gè)樣本標(biāo)注一串人工校驗(yàn)的關(guān)鍵推理步驟，每步都是正確生成必須命中的 checkpoint；RS 即被正確完成的步驟比例，由判別模型（Gemini-2.5-Flash）逐步獨(dú)立判定。

它不再是「答對(duì) / 答錯(cuò)」的非黑即白，而能精準(zhǔn)定位模型在推理鏈的哪一步崩塌，并支持跨模型可靠比較。

測(cè)評(píng)實(shí)驗(yàn)

實(shí)驗(yàn)部分，作者全面測(cè)評(píng)了7個(gè)最強(qiáng)的閉源與開源視頻生成模型：Veo-3.1、Veo-3.1-fast、Sora-2、Seedance-1.0-pro、Seedance-1.0-fast、Kling-v2.1 與 Cosmos-Predict2-14B，并在三種提示設(shè)置下系統(tǒng)對(duì)比，得出以下幾個(gè)有趣的結(jié)論。

發(fā)現(xiàn)一：視頻生成模型普遍不具備強(qiáng)推理能力，且推理能力與生成質(zhì)量幾乎完全解耦。

即便最強(qiáng)的 Veo 也僅 56 分，Sora 50 分，其余明顯落后——最強(qiáng)也只勉強(qiáng)過 50 分。更值得警惕的是：高畫質(zhì) ≠ 會(huì)推理。以 Kling 為例，它的綜合生成質(zhì)量（Avg）高達(dá)65.1，但 Reasoning Score 卻低至13.8。它能把風(fēng)吹樹林的動(dòng)態(tài)渲染得惟妙惟肖，卻完全沒有遵循「逐漸放大并尋找手提包」的推理指令。推理，是一種與生成質(zhì)量相互獨(dú)立的能力。

發(fā)現(xiàn)二：文字提示是一把雙刃劍——看似提分，實(shí)則誘發(fā)幻覺、損害一致性。

多數(shù)模型加文字提示后 RS 提升（Veo-3.1 +4.5、Sora-2 +7.6、Cosmos +6.7），但代價(jià)是 7 個(gè)模型的一致性分?jǐn)?shù)（CS）幾乎全線下降，尤其 4D Dynamics 上 7 模型 CS 全降（-1.2 至 -15.6）。模型往往只在「照本宣科」執(zhí)行字面指令——例如為滿足運(yùn)動(dòng)指令憑空「分裂」出一個(gè)多余物體。顯式提示更像是轉(zhuǎn)移注意力，而非增強(qiáng)理解。

發(fā)現(xiàn)三：視覺提示并非萬能，對(duì)精細(xì)感知任務(wù)甚至?xí)偷姑Α?/strong>

它在結(jié)構(gòu)化、需空間引導(dǎo)的任務(wù)（Embodied、GUI）上有幫助，卻在視覺細(xì)節(jié)、物體計(jì)數(shù)等精細(xì)任務(wù)上拉低成績(jī)（Visual Detail：Veo-3.1 RS -13.0、CS -14.4）。更有趣的是，模型常把視覺提示「畫進(jìn)」畫面——指示方向的箭頭被當(dāng)成物體、渲染成彎曲軌跡。作者推測(cè)這源于訓(xùn)練數(shù)據(jù)偏差：標(biāo)注箭頭 / 高亮常與合成內(nèi)容共現(xiàn)，模型把「引導(dǎo)」誤當(dāng)「內(nèi)容」。

案例研究：提示越多，推理就越好嗎？

一個(gè)自然的問題是：不斷增加提示信息，能單調(diào)地提升推理表現(xiàn)嗎？作者在 Frozen Lake 任務(wù)上用 Sora-2 做了一組漸進(jìn)式 scaling 實(shí)驗(yàn)。

結(jié)果表明：雖然文字與視覺提示帶來的推理分?jǐn)?shù)普遍高于無提示基線（0.23），但兩條曲線都在各階段劇烈波動(dòng)，沒有清晰的上升趨勢(shì)。這說明當(dāng)前模型無法以累積的方式穩(wěn)定地利用越來越詳細(xì)的提示信息——簡(jiǎn)單地堆疊提示，并不能保證推理表現(xiàn)的提升。這也指向了一個(gè)開放問題：如何讓視頻模型把多步提示穩(wěn)定地落地為連貫的推理軌跡。

人類研究：Reasoning Score 究竟靠不靠譜？

為驗(yàn)證 RS 是否能有效、獨(dú)立地刻畫視頻推理能力，作者邀請(qǐng) 10 位標(biāo)注者對(duì)隨機(jī)抽取的視頻按標(biāo)注步驟打分，并與現(xiàn)有指標(biāo)對(duì)比。

結(jié)果顯示，Reasoning Score 與人工評(píng)分的 Spearman 相關(guān)性高達(dá) 0.61，大幅超越 Instruction Alignment（0.17），與 Pass@5 last-frame correctness 則呈負(fù)相關(guān)（-0.41）。這充分說明：RS 比現(xiàn)有指標(biāo)更能捕捉人類視角下的推理行為，是評(píng)估推理一致性的有效指標(biāo)。

結(jié)語

本文系統(tǒng)評(píng)測(cè)了主流視頻生成模型在推理一致性上的真實(shí)水平，提出了過程級(jí)評(píng)測(cè)指標(biāo) Reasoning Score，并通過文字 / 視覺提示的可控對(duì)比，深入分析了模型的失敗模式與作用機(jī)理。

核心結(jié)論令人深思：當(dāng)前的視頻生成模型，更多是在「跟隨」提示，而非真正「理解」并落地世界規(guī)律。通往真正世界模型推理的道路上，更強(qiáng)的視覺對(duì)齊能力、指令理解能力與抗幻覺機(jī)制，仍是必須攻克的方向。

作者希望這些分析結(jié)果，能為視頻生成模型與世界模型的未來迭代提供有價(jià)值的參考。非常歡迎感興趣的老師同學(xué)們聯(lián)系作者團(tuán)隊(duì)進(jìn)一步交流！