3步推理生成加速20+倍！CoLT教會(huì)多模態(tài)大模型用「潛思維鏈」思考

一、研究背景：當(dāng) CoT 遇上「慢」與「窄」

近年來(lái)，多模態(tài)大語(yǔ)言模型（MLLM）在視覺(jué)問(wèn)答、圖表理解、科學(xué)推理等任務(wù)上取得了令人矚目的進(jìn)展。Qwen3-VL、InternVL3、Step3-VL 等模型不斷刷新開(kāi)源榜單，而支撐其復(fù)雜推理能力的關(guān)鍵技術(shù)之一，正是Chain-of-Thought（CoT，思維鏈）：讓模型在給出最終答案之前，先以自然語(yǔ)言逐步展開(kāi)中間推理過(guò)程。

從 Wei 等人提出的 CoT 提示，到 DeepSeek-R1、OpenAI o1 所代表的長(zhǎng)鏈推理范式，「先想后答」已成為構(gòu)建高智能多模態(tài)系統(tǒng)的標(biāo)準(zhǔn)協(xié)議。

然而，文本 CoT 在帶來(lái)性能增益的同時(shí)，也暴露出三個(gè)難以回避的結(jié)構(gòu)性瓶頸。

1. 推理效率：每一步思維都必須以離散 token 自回歸生成，一次完整推理往往消耗數(shù)百甚至上千個(gè) token，構(gòu)成推理階段最主要的計(jì)算負(fù)擔(dān)。
2. 表達(dá)局限：一旦將連續(xù)的思考過(guò)程「坍縮」為某一條具體的自然語(yǔ)言表述，模型便失去了在多種解題路徑間保持分布的能力。
3. 錯(cuò)誤傳播：早期推理步驟中的偏差會(huì)沿鏈條逐級(jí)放大，在長(zhǎng)鏈場(chǎng)景下尤為致命。

為突破上述限制，學(xué)界開(kāi)始探索Latent Reasoning（潛空間推理）：將中間思考過(guò)程保留在連續(xù)表征空間中，而非顯式解碼為文本。

CoCoNut、CODI、SoftCoT、SIM-CoT 等工作在純文本 LLM 上驗(yàn)證了這一方向的可行性；在多模態(tài)領(lǐng)域，LVR、LaCoT、MoNet 等方法則嘗試借助輔助圖像生成潛思維 token。但這些視覺(jué)潛推理方案往往依賴昂貴的圖像標(biāo)注或?qū)Ｓ镁幋a器，可擴(kuò)展性受限。

一個(gè)自然的問(wèn)題由此浮現(xiàn)：能否在不引入任何輔助視覺(jué)標(biāo)注的前提下，僅利用已有文本CoT數(shù)據(jù)，讓多模態(tài)模型在語(yǔ)言模型的潛空間中完成高效、可監(jiān)督、可泛化的推理？

二、CoLT 核心思想：僅用 3 步潛向量完成深度推理

本文提出的CoLT（Chain of Latent Thoughts，潛思維鏈）給出了一份系統(tǒng)性的答案。

• 論文標(biāo)題：CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts
• 會(huì)議：ECCV 2026
• 作者：胡連宇，秦勝乾，廖澤欽，郭青，萬(wàn)亮，馮偉，劉楊
• 機(jī)構(gòu)：南洋理工大學(xué) | 上海交通大學(xué) | 南開(kāi)大學(xué) | 天津大學(xué)
• 代碼：https://github.com/hulianyuyy/CoLT
• 論文地址：https://arxiv.org/abs/2606.31986

給定圖像 v 與文本查詢 x，標(biāo)準(zhǔn) MLLM 先在視覺(jué)編碼器中獲得視覺(jué) token，再與文本拼接輸入語(yǔ)言模型。傳統(tǒng) Text CoT 需要生成 L 步顯式推理文本 r?,…,r_L 后才能輸出答案；而 CoLT 將這一過(guò)程替換為僅 K 步潛思維向量 h?,…,h_K（本文默認(rèn) K =3），每一步對(duì)應(yīng)語(yǔ)言模型在指定推理位置的最后一層隱狀態(tài)，并直接作為下一步的輸入嵌入反饋回模型，無(wú)需擴(kuò)展詞表、無(wú)需引入特殊 token。

這一設(shè)計(jì)帶來(lái)了數(shù)量級(jí)上的效率優(yōu)勢(shì)：相比 Text CoT 平均約 142 個(gè)推理 token，CoLT 僅需3 個(gè)連續(xù)向量即可完成思考，生成階段耗時(shí)從約 7.24 秒降至0.32 秒（MMStar benchmark，單卡 H200），文本解碼加速達(dá)22.6×，端到端推理加速10.1×。更引人注目的是，效率的提升并未以犧牲精度為代價(jià)。

在八個(gè)多模態(tài)基準(zhǔn)上的平均準(zhǔn)確率，CoLT 達(dá)到79.1%，不僅超越同骨干上的 Text CoT（75.7%，+3.4%），也顯著領(lǐng)先現(xiàn)有潛推理與潛視覺(jué)推理方法。

圖1：CoLT框架圖。左圖：（1）文本 CoT（思維鏈）在生成答案之前，會(huì)先生成冗長(zhǎng)的推理文本 token；（2）潛在推理（latent reasoning）以潛在狀態(tài)替代文本，但缺乏顯式監(jiān)督；（3）潛在視覺(jué)推理（latent visual reasoning）則通過(guò)編碼器，將潛在狀態(tài)與額外的圖像標(biāo)注進(jìn)行對(duì)齊。右圖：CoLT 生成潛在思維向量，并通過(guò)兩種互補(bǔ)機(jī)制進(jìn)行約束：外部的逐步監(jiān)督（由解碼器以前向和反向模式運(yùn)行）以及內(nèi)部的步間預(yù)測(cè)。

三、方法詳解：三重步級(jí)監(jiān)督，馴服無(wú)約束潛空間

將文本 token 替換為連續(xù)向量進(jìn)行推理，看似簡(jiǎn)單，實(shí)則困難重重。無(wú)約束的潛空間缺乏結(jié)構(gòu)化歸納偏置，模型極易學(xué)到語(yǔ)義空洞的表征，訓(xùn)練過(guò)程也會(huì)劇烈震蕩，從而大幅降低精度。

CoLT 的核心創(chuàng)新，在于引入一套輕量但完備的步級(jí)（step-level）監(jiān)督機(jī)制，從外部與內(nèi)部?jī)蓚€(gè)維度共同規(guī)約潛思維鏈的語(yǔ)義與結(jié)構(gòu)。

3.1 外部解碼器：前向 + 后向雙向錨定

CoLT 引入一個(gè)與骨干同族的小型外部解碼器 D_φ（默認(rèn) Qwen3-0.6B，與 Qwen3-VL-8B 共享詞表），在訓(xùn)練階段對(duì)每個(gè)潛思維步提供互補(bǔ)監(jiān)督：

• 前向解碼（Forward Decoding）：以當(dāng)前潛思維 h_k 為條件，解碼器自回歸生成下一步的文本推理 r_(k+1)。該損失確保每個(gè)潛向量編碼了足夠的信息，足以重構(gòu)顯式推理內(nèi)容；梯度經(jīng)解碼器回傳至主模型，驅(qū)動(dòng)潛表征走向「可解釋、可遞進(jìn)」的語(yǔ)義。

3.2 內(nèi)部監(jiān)督：步間連貫性預(yù)測(cè)

其中 α=β=γ=0.2。

3.3 兩階段訓(xùn)練與零開(kāi)銷推理

訓(xùn)練由 SFT 階段組成：在 OneThinker 圖像子集上以完整聯(lián)合損失監(jiān)督，動(dòng)態(tài)將文本 CoT 標(biāo)注切分為 K 段與潛思維步對(duì)齊。

推理階段，外部解碼器與投影頭被完全丟棄，僅采用到 3 個(gè)潛向量的「閃電思考」與最終答案，零額外計(jì)算開(kāi)銷。

四、實(shí)驗(yàn)結(jié)果：八基準(zhǔn)全面領(lǐng)先

研究團(tuán)隊(duì)在八個(gè)涵蓋視覺(jué)理解、圖表推理、文本豐富 VQA、科學(xué)問(wèn)答、視覺(jué)不可或缺問(wèn)題、圖表理解與多任務(wù)綜合評(píng)測(cè)的基準(zhǔn)上系統(tǒng)評(píng)估 CoLT，骨干統(tǒng)一為 Qwen3-VL-8B-Instruct，確保公平對(duì)比。

表1 | 八個(gè)多模態(tài)基準(zhǔn)綜合對(duì)比（%）。? 表示基于 Qwen3-VL-8B 骨干。

從表 1 可以讀出幾條清晰結(jié)論：

• 潛思維確實(shí)「有用」：相比直答模式（Avg. 69.5%），CoLT 提升 9.6 個(gè)百分點(diǎn)，證明僅 3 個(gè)連續(xù)向量即可承載 substantial 的推理能力。
• 潛思維可以「更好」：相較同骨干 Text CoT（75.7%），CoLT 再提升 3.4%，在 ChartQA（+9.6%）與 TextVQA（+6.1%）上增益最為顯著，恰是需要多步圖表分析與 OCR 閱讀的硬核場(chǎng)景。
• CoLT 在潛推理賽道一騎絕塵：超越最強(qiáng)潛推理基線 SIM-CoT 5.1%，超越最強(qiáng)潛視覺(jué)推理基線 LVR 5.5%，且無(wú)需任何輔助圖像標(biāo)注。

與閉源模型的橫向參照同樣值得關(guān)注：在 MMBench 上 CoLT 達(dá) 84.6%，逼近 GPT-5-high（83.8%）與 Claude-Opus-4.1（83.0%）；在 ChartQA 上以 74.7% 大幅領(lǐng)先 Gemini-2.5-Pro（59.7%）。對(duì)于 8B 規(guī)模的開(kāi)源模型而言，這是一份頗具說(shuō)服力的成績(jī)單。

五、消融實(shí)驗(yàn)：每個(gè)監(jiān)督信號(hào)都不可或缺

為厘清 CoLT 各組件的貢獻(xiàn)，在四個(gè)代表性基準(zhǔn)上進(jìn)行了系統(tǒng)消融。

監(jiān)督信號(hào)組合實(shí)驗(yàn)（表2）揭示：?jiǎn)为?dú)使用時(shí)，后向解碼（67.2%）> 前向解碼（65.8%）> 內(nèi)部監(jiān)督（63.6%）；任意兩兩組合均顯著優(yōu)于單分量，其中 L_fwd + L_bwd 最強(qiáng)（69.8%）；三者完整啟用時(shí)平均準(zhǔn)確率達(dá) 72.6%，且每增加一項(xiàng)監(jiān)督均有穩(wěn)定增益——后向解碼的邊際貢獻(xiàn)最大（+4.5%），證實(shí)雙向錨定是馴服潛空間的關(guān)鍵。

表2 | 監(jiān)督信號(hào)組合消融

解碼器規(guī)模消融（表3）則證明「小而美」：從 Qwen3-0.6B 擴(kuò)展至 Qwen3-8B，平均準(zhǔn)確率僅從 72.6% 微升至 73.2%（+0.6%），0.6B 解碼器已能提供有效的步級(jí)監(jiān)督，是精度-效率的最佳折中。

表3 | 外部解碼器規(guī)模消融

潛思維步數(shù) K 的敏感性分析（表4）顯示性能在 K=3 處達(dá)到峰值（72.6%），過(guò)少（K=1, 66.8%）限制推理容量，過(guò)多（K=8, 71.2%）則引入冗余。跨 K 泛化實(shí)驗(yàn)進(jìn)一步表明：以 K=3 訓(xùn)練、K=6 測(cè)試僅下降 0.7%，K=3 作為默認(rèn)配置具有良好的魯棒性。

表4 | 潛思維步數(shù) K 的影響

六、效率加速：潛空間的天然優(yōu)勢(shì)

效率對(duì)比（表5）進(jìn)一步量化了 CoLT 的實(shí)用價(jià)值。

在 MMStar 上，編碼階段三者均為 ~0.45s，瓶頸在生成階段：Text CoT 需 7.24s 生成 142.1 個(gè) token，CoLT 僅 0.32s 完成 3 個(gè)潛向量，生成加速 22.6×；端到端（編碼+生成）加速 10.1×，且準(zhǔn)確率從 Text CoT 的 67.1% 提升至 68.9%。

在 MMT-Bench 上結(jié)論一致：生成加速 22.4×，端到端 10.1×，準(zhǔn)確率 67.4% vs. 63.3%。

表5 | 推理速度對(duì)比（單卡 H200，每樣本均值）

七、可解釋性：潛思維并非「黑箱」

一個(gè)常見(jiàn)質(zhì)疑是：潛向量是否只是無(wú)法解釋的數(shù)值噪聲？

CoLT 用定性分析給出了否定答案。借助訓(xùn)練階段的前向解碼器，可將每個(gè)潛思維步h_k 投影回自然語(yǔ)言，揭示其編碼的推理片段。

圖2：兩個(gè)可視化示例及其解碼后的潛在思維。我們使用前向解碼器將潛在狀態(tài)重新映射回文本。不同顏色標(biāo)注的片段表示由不同潛在推理步驟解碼得到的推理內(nèi)容。

論文 Figure 2 展示了兩個(gè)邏輯推理與數(shù)學(xué)計(jì)算方面的實(shí)例：在邏輯模式匹配題中，三步潛思維分別對(duì)應(yīng)逐行視覺(jué)掃描、綠色扇區(qū)計(jì)數(shù)與模式推斷；在數(shù)學(xué)積木題中，潛步驟依次分解十位、個(gè)位并求和。顏色編碼顯示每步潛向量承載推理鏈中獨(dú)立且語(yǔ)義明確的片段，步間邏輯連貫，驗(yàn)證了內(nèi)部監(jiān)督對(duì)結(jié)構(gòu)化過(guò)渡的有效約束。

八、總結(jié)與展望

CoLT 為多模態(tài)潛空間推理提供了一條兼具理論美感與工程實(shí)用性的路徑：以極少步數(shù)的連續(xù)潛思維替代冗長(zhǎng)的文本 CoT，通過(guò)前向解碼、后向解碼與內(nèi)部預(yù)測(cè)的三重步級(jí)監(jiān)督馴服無(wú)約束潛空間，訓(xùn)練后零開(kāi)銷部署，在八個(gè)基準(zhǔn)上以 79.1% 平均準(zhǔn)確率全面領(lǐng)先，相對(duì) Text CoT 實(shí)現(xiàn) 10.1× 端到端加速與 22.6× 文本生成加速，并在輸入噪聲下展現(xiàn)出卓越的魯棒性。

未來(lái)方向包括：根據(jù)問(wèn)題難度自適應(yīng)調(diào)節(jié)潛思維步數(shù) K；探索潛-文混合推理框架，在關(guān)鍵決策點(diǎn)切換顯式/隱式表征；以及將潛思維鏈擴(kuò)展至視頻、音頻等更多模態(tài)。

代碼已開(kāi)源：https://github.com/hulianyuyy/CoLT