多模態(tài)DeepResearch，成了！

DeepResearch 的價(jià)值在于把「查資料」變成「做研究」：不是搜到一條就回答，而是會(huì)連續(xù)多輪地提出問(wèn)題、去不同地方找證據(jù)、互相對(duì)照核實(shí)、再把信息整理成結(jié)構(gòu)清晰的結(jié)論。這樣做能顯著降低「憑感覺(jué)瞎編」的風(fēng)險(xiǎn)，特別適合那些信息分散、容易混淆、需要多步推理和多來(lái)源佐證的復(fù)雜問(wèn)題。

工業(yè)級(jí) deepresearch LLM（如 tongyi-deepresearch、MiroThinker），將文本 DeepResearch 性能從探索級(jí)提高到了與閉源模型的 agentic reasoning pipeline 相當(dāng)?shù)男阅埽嗄B(tài) DeepResearch 依然處在初期。

圖 1A：指出現(xiàn)有多模態(tài)深度研究在圖像搜索上的兩大瓶頸：忽視搜索引擎命中率問(wèn)題（單次全圖 / 實(shí)體檢索常失敗，不同尺度裁剪結(jié)果波動(dòng)大），以及推理深度與檢索廣度不足（軌跡短、交互少）。圖 1B：展示整體流程：自動(dòng)合成高質(zhì)量 VQA 與多輪軌跡，并通過(guò) SFT+RL 把深研能力內(nèi)化到 MLLM 中，使其能進(jìn)行多輪、多實(shí)體、多尺度的視覺(jué)與文本搜索。底部結(jié)果對(duì)比表明：在統(tǒng)一的 agentic 推理設(shè)置下，模型以更小參數(shù)規(guī)模在 6 個(gè)基準(zhǔn)上達(dá)到 SOTA。

在現(xiàn)實(shí)世界中，多模態(tài) DeepResearch 有著重要意義，其將研究能力從「只看文字」擴(kuò)展到「文字 + 圖片 / 圖表 / 截圖等」。現(xiàn)實(shí)世界里很多關(guān)鍵信息就藏在視覺(jué)內(nèi)容里：一張照片里的標(biāo)志、一個(gè)產(chǎn)品細(xì)節(jié)、一頁(yè)報(bào)告截圖里的表格、一張地圖或示意圖。

多模態(tài) DeepResearch 能把這些視覺(jué)線索也當(dāng)成證據(jù)來(lái)使用：先從圖片中抓住關(guān)鍵點(diǎn)，再去查文字資料驗(yàn)證補(bǔ)全，必要時(shí)再回到圖片繼續(xù)核對(duì)，最后把圖文證據(jù)一起整合成更可靠、更完整的答案。這樣不僅覆蓋的信息更全，也更接近人類(lèi)真實(shí)的研究方式。

基于此，作者構(gòu)建了一個(gè)面向真實(shí)世界搜索環(huán)境的多模態(tài) deep-research 大模型，通過(guò) VQA 數(shù)據(jù)合成 + 軌跡合成 + 冷啟動(dòng) + 大規(guī)模強(qiáng)化學(xué)習(xí)，解決當(dāng)前工作所忽略的引擎命中率問(wèn)題，將推理輪數(shù)提高到數(shù)十輪，與搜索引擎交互次數(shù)提高到了數(shù)百次。

• 機(jī)構(gòu)：港中文 MMLab，中科大，小紅書(shū)等
• HF daily paper:
• https://huggingface.co/papers/2601.22060
• https://huggingface.co/papers/2602.02185
• Project page: https://osilly.github.io/Vision-DeepResearch/

相比于之前的 multimodal deep-research MLLM 在 6 個(gè)主流 benchmark 上幾乎翻倍性能，對(duì)比例如 gpt5、gemini2.5pro、claude4 等強(qiáng)大閉源模型的 agentic reasoning pipeline，使用 30B-A3B 甚至 8B 參數(shù)規(guī)模幾乎都取得了領(lǐng)先或者相當(dāng)?shù)男阅堋?/p>

基線對(duì)比 Demo：

https://mp.weixin.qq.com/s/E3chyoaLVtaMI1MAL6zAhA?click_id=1

更多 case 展示：

https://mp.weixin.qq.com/s/E3chyoaLVtaMI1MAL6zAhA?click_id=1

https://mp.weixin.qq.com/s/E3chyoaLVtaMI1MAL6zAhA?click_id=1

https://mp.weixin.qq.com/s/E3chyoaLVtaMI1MAL6zAhA?click_id=1

https://mp.weixin.qq.com/s/E3chyoaLVtaMI1MAL6zAhA?click_id=1

現(xiàn)有一些多模態(tài) DeepResearch 的探索，在真實(shí)網(wǎng)頁(yè)環(huán)境里經(jīng)常卡在兩道硬坎，這導(dǎo)致他們?nèi)狈?shí)際應(yīng)用價(jià)值：

1. 命中率問(wèn)題（hit-rate）被忽視：一張全圖 / 一次實(shí)體級(jí)查詢(xún)往往被背景噪聲帶偏；同一實(shí)體不同尺度裁剪，檢索結(jié)果差異巨大。
2. 推理深度與檢索廣度不足：多數(shù)方法軌跡短、工具調(diào)用少，難以完成多跳證據(jù)聚合與復(fù)雜問(wèn)題的「試錯(cuò)式搜證」。

Vision-DeepResearch 提出新的多模態(tài)深度研究范式：把檢索從「一次性操作」升級(jí)為多輪試探 — 反饋 — 再檢索的長(zhǎng)期交互過(guò)程，支持幾十步推理、上百次引擎交互，讓模型像人一樣在噪聲環(huán)境中不斷縮小范圍、驗(yàn)證證據(jù)，最終穩(wěn)定命中關(guān)鍵事實(shí)。

方法核心：多尺度視覺(jué)檢索 + 文本深研接力 + 端到端內(nèi)化

整體路線是「高質(zhì)量長(zhǎng)軌跡合成 → 冷啟動(dòng) SFT → 在線高效異步 RL 內(nèi)化能力」：

1. 多實(shí)體 / 多尺度視覺(jué)裁剪檢索（CIS）：模型先定位與問(wèn)題相關(guān)區(qū)域，生成多個(gè) bbox 與不同尺度 crop 并行發(fā)起視覺(jué)搜索，顯著提升命中率。
2. 視覺(jué)→網(wǎng)頁(yè)→摘要→驗(yàn)證的證據(jù)管線：視覺(jué)搜索返回 URL 后，訪問(wèn)網(wǎng)頁(yè)并用輔助模型做摘要與圖文一致性驗(yàn)證，過(guò)濾噪聲，提煉可用證據(jù)。
3. 橋接文本 DeepResearch 能力：利用強(qiáng)文本 DeepResearch 基礎(chǔ)模型生成對(duì)應(yīng)的文本搜索長(zhǎng)軌跡，實(shí)現(xiàn)跨模態(tài)長(zhǎng)視野推理遷移。
4. 訓(xùn)練策略：先用約 30K 長(zhǎng)軌跡做 SFT 教會(huì)「怎么搜、怎么查、怎么寫(xiě)軌跡」，再用在線強(qiáng)化學(xué)習(xí)在真實(shí)在線搜索環(huán)境中優(yōu)化策略（純準(zhǔn)確率獎(jiǎng)勵(lì) + 多種工程穩(wěn)定化技巧），把深研行為真正「內(nèi)化」為模型能力。

圖 2 數(shù)據(jù)管線高質(zhì)量軌跡數(shù)據(jù)生成；多跳復(fù)雜 VQA 合成

實(shí)驗(yàn)：小參數(shù)也能打到 SOTA，長(zhǎng)視野交互是關(guān)鍵增益來(lái)源

性能強(qiáng)大：在 VDR、FVQA、MMSearch (+)、LiveVQA、BC-VL 等 6 個(gè)基準(zhǔn)上：

1. Vision-DeepResearch-8B 在同等 agent 設(shè)置下，相比 Qwen3-VL-8B-Instruct（Agentic）平均提升約 + 10.4%
2. Vision-DeepResearch-30B-A3B 進(jìn)一步把整體成績(jī)推到更高水平（平均提升約 + 16.0%），在多個(gè)基準(zhǔn)上持續(xù)擴(kuò)大優(yōu)勢(shì)。超越 GPT-5、Gemini-2.5-Pro、Claude-4-Sonnet 等強(qiáng)大閉源模型構(gòu)成的 deep-research 系統(tǒng)的性能。

消融結(jié)論明確：

1. 僅全圖檢索（WIS）收益有限且易受噪聲干擾；
2. 多尺度裁剪（CIS）顯著提升視覺(jué)命中；
3. CIS + 文本搜索（TS）組合最好，同時(shí)滿(mǎn)足「視覺(jué)錨點(diǎn)精準(zhǔn) + 長(zhǎng)尾知識(shí)補(bǔ)全」；
4. RL 進(jìn)一步把長(zhǎng)視野決策做穩(wěn)：模型學(xué)會(huì)用更少但更有效的步驟拿到更高回報(bào)。

VDR-Bench：重新定義視覺(jué)深研評(píng)測(cè)！2,000 條「必須做視覺(jué)搜索」的真實(shí)難題，專(zhuān)治文本捷徑與全圖完美檢索

多模態(tài)深度研究系統(tǒng)越來(lái)越多，但評(píng)測(cè)卻長(zhǎng)期「不對(duì)題」：很多基準(zhǔn)存在兩類(lèi)系統(tǒng)性漏洞：

1. 不夠「視覺(jué)搜索中心」：答案常被問(wèn)題文本線索泄露，甚至可用模型先驗(yàn)知識(shí) / 純文本檢索繞過(guò)視覺(jué)驗(yàn)證，導(dǎo)致分?jǐn)?shù)虛高。
2. 檢索場(chǎng)景過(guò)于理想化：全圖反搜經(jīng)常命中幾乎一模一樣的「近重復(fù)圖片 + 標(biāo)題元信息」，形成「完美檢索（perfect retrieval）」，沒(méi)測(cè)到真實(shí)環(huán)境下的定位、裁剪、試錯(cuò)與跨模態(tài)核驗(yàn)?zāi)芰ΑＮ乃阉阉魃疃忍珳\，無(wú)法反映真實(shí)世界的復(fù)雜性。

圖 3 現(xiàn)有評(píng)測(cè)基準(zhǔn)兩大缺陷

VDR-Bench 為此提出一套更貼近現(xiàn)實(shí)的評(píng)測(cè)基準(zhǔn)：2,000 條多跳 VQA，覆蓋 10 個(gè)視覺(jué)域，強(qiáng)調(diào)必須通過(guò)局部實(shí)體發(fā)現(xiàn) + 迭代裁剪檢索 + 文本多跳推理才能可靠作答，從源頭減少捷徑與「全圖一把梭」

基準(zhǔn)構(gòu)建核心：從「視覺(jué)實(shí)體」出發(fā)，強(qiáng)制閉環(huán)證據(jù)鏈

VDR-Bench 采用嚴(yán)格的「視覺(jué)優(yōu)先」多階段流程：

1. 人工裁剪 + Web 級(jí)視覺(jué)搜索：標(biāo)注者優(yōu)先裁剪顯著局部（logo / 人物 / 地標(biāo) / 產(chǎn)品等）而非整圖，模擬真實(shí)搜圖行為。
2. 實(shí)體抽取與驗(yàn)證：從檢索結(jié)果標(biāo)題 / 描述抽取候選實(shí)體，經(jīng) MLLM 過(guò)濾一致性，再由人工核驗(yàn)，確保實(shí)體不是「全圖輕松搜到」的近重復(fù)泄露。
3. Seed VQA 生成：圍繞已驗(yàn)證視覺(jué)實(shí)體生成需要顯式識(shí)別與落地的問(wèn)答。
4. 知識(shí)圖譜隨機(jī)游走做多跳擴(kuò)展：把問(wèn)題升級(jí)為「從視覺(jué)實(shí)體出發(fā)」的多跳推理（總部城市 / 創(chuàng)始人 / 年份 / 關(guān)聯(lián)組織等）。
5. 可解性與去捷徑審核：自動(dòng)與人工雙重檢查，確保必須依賴(lài)記錄下來(lái)的視覺(jué)檢索證據(jù)與推理路徑，避免歧義與 shortcut。

圖 4 多階段數(shù)據(jù)標(biāo)注管道

在 VDR-Bench 上，模型必須主動(dòng)檢索才有明顯提升，并且作者發(fā)現(xiàn)「Lazy Search（懶搜索）」：越強(qiáng)的模型越可能依賴(lài)先驗(yàn)知識(shí)、反而不愿意充分調(diào)用視覺(jué)檢索，導(dǎo)致深研題表現(xiàn)不匹配其基礎(chǔ)能力。

為緩解這一點(diǎn)，作者提出Multi-turn Visual Forcing（MVF）：在推理流程上強(qiáng)制多輪、多尺度裁剪與驗(yàn)證，大幅提升深度檢索性能。

意義與未來(lái)

Vision-DeepResearch 證明：多模態(tài)深研能力的關(guān)鍵不只是「會(huì)調(diào)用工具」，而是要在噪聲世界里形成長(zhǎng)視野、可試錯(cuò)、可驗(yàn)證的檢索 — 推理閉環(huán)；并且通過(guò)可規(guī)模化數(shù)據(jù)合成與 RL，可以把這種行為從 workflow 變成模型的內(nèi)生能力。

VDR-Bench 把「視覺(jué)深研」從「能不能答對(duì)」升級(jí)為「能不能在噪聲世界里定位 — 檢索 — 驗(yàn)證 — 多跳推理」，為后續(xù)模型與 Agent 訓(xùn)練提供更真實(shí)的測(cè)試平臺(tái)，也讓社區(qū)更清楚：下一代多模態(tài)深研系統(tǒng)的瓶頸到底在哪里？