用推理步驟的「語義冗余」給LRM過度思考踩剎車

推理大模型 (如 DeepSeek-R1、o1) 靠長思維鏈拿高分，卻普遍「想太多」: 研究統(tǒng)計了五個代表性模型里，發(fā)現(xiàn)有 41–52% 的 token 是在模型給出它的最終答案之后生成的。現(xiàn)有的 inference-time early-exit 工作，大多盯著 trial answer 的 readiness—— 從當(dāng)前推理前綴探測一個臨時答案，看它置信度夠不夠高、連續(xù)幾次是否一致、是否「看起來可以提交」。但答案看起來穩(wěn)了，并不代表推理真的收斂了：模型可能還在探索、自我糾錯的過程中，就短暫給出高置信、甚至連續(xù)一致的錯誤答案。

PUMA 換了個早停思路 ——不只看「答案穩(wěn)沒穩(wěn)」, 主要看「最近的推理還在不在產(chǎn)生新的語義進(jìn)展」: 當(dāng)推理開始反復(fù)復(fù)述既有結(jié)論、不再提供新的語義信息時，說明推理大概率已收斂，這里才值得考慮停止。實(shí)驗(yàn)驗(yàn)證了這一信號可靠、可遷移、也可學(xué)習(xí)：在 5 個模型 × 5 個高難度基準(zhǔn)上平均減少 26.2% token 且保持準(zhǔn)確率，能零樣本遷移到代碼生成與多模態(tài)推理，乃至作為訓(xùn)練信號內(nèi)化進(jìn)模型。

• 論文標(biāo)題：Stop When Reasoning Converges: Semantic-Preserving Early Exit for Reasoning Models
• 論文鏈接：https://arxiv.org/abs/2605.17672
• 代碼鏈接：https://github.com/giovanni-vaccarino/PUMA

長思考模型的通病：

答案已經(jīng)有了，思考還在繼續(xù)

像 DeepSeek-R1、Qwen3-Thinking 這類長思考模型（Long-thinking Model，LRM）靠長思維鏈拿高分，但很多時候，模型早就已經(jīng)形成了后來會提交的答案，卻還在反復(fù)驗(yàn)證、改寫、重新推導(dǎo)。作者的反事實(shí)分析顯示：五個代表性模型里，有 41–52% 的推理 token 生成在模型首次給出「后來會提交的最終答案」之后 —— 大量算力都花在了答案后的冗余續(xù)寫上。

論文 Figure 5：五個模型中 41–52% 的 token 屬于「答案后冗余」；多數(shù)模型在推理進(jìn)度 40–60% 附近就已達(dá)到最終會提交的答案。

現(xiàn)有早停的盲區(qū)：

只盯 trial answer 的 readiness

現(xiàn)有的 inference-time early-exit 工作，大多盯著trial answer 的 readiness：在每個可能的停機(jī)點(diǎn)，從當(dāng)前推理前綴誘導(dǎo)出一個臨時答案（trial answer），據(jù)它的置信度或連續(xù)一致性判斷「是否可以提交」。

問題在于，readiness 只反映答案層面的穩(wěn)定，并不等于推理已經(jīng)收斂。回溯實(shí)驗(yàn)把這一盲區(qū)量化了出來：置信度信號的誤停率平均約 44%、答案一致性約 64%；更關(guān)鍵的是，其中相當(dāng)一部分屬于「過早退出」—— 若不打斷，模型本能繼續(xù)自我糾正并最終答對，而閾值掃描表明這一權(quán)衡無法靠調(diào)參消除。

論文 Figure 1：「答案就緒」≠「推理收斂」。置信度 / 一致性在錯誤答案階段就可能誤觸早停，而步驟間語義相似度只在推理收斂處才明顯升高。

PUMA 的關(guān)鍵：不只看答案穩(wěn)沒穩(wěn)，

更看推理還有沒有新信息

PUMA 換了個角度：直接觀察最近的推理還在不在產(chǎn)生新的語義進(jìn)展。若當(dāng)前步與它的近鄰高度相似、只是在重復(fù) / 復(fù)述 / 重新驗(yàn)證既有結(jié)論、不再提供新的語義信息，就說明推理大概率已進(jìn)入收斂 —— 這里才值得考慮停止。這個信號與答案層信號互補(bǔ)：探索階段相鄰步驟的相似度一直較低，收斂時才明顯升高。

PUMA (Progress-aware Unified Monitoring framework for Adaptive early exit) 是一個即插即用的早停框架，在推理階段運(yùn)行，不改權(quán)重、也不改原始 prompt。

它把「在哪里考慮停」和「到底能不能停」拆開：一個輕量冗余探測器（基于 Qwen3-Embedding-0.6B 對比學(xué)習(xí)微調(diào)的嵌入模型）實(shí)時標(biāo)出候選退出點(diǎn)；只有在這些點(diǎn)上才觸發(fā)答案復(fù)核，檢查試探答案（trial answer）是否足夠自信、多個候選點(diǎn)是否一致、置信度有無明顯下滑。兩關(guān)都過才真正踩剎車；如果后期持續(xù)陷入重復(fù)但復(fù)核始終未通過，則由 Loop Breaker 兜底，避免無休止地繼續(xù)思考。

論文 Figure 2：PUMA 框架總覽 —— 冗余探測器定位候選退出點(diǎn)，答案復(fù)核確認(rèn)后停止，Loop Breaker 兜底。左側(cè)真實(shí)軌跡演示它刪掉收斂后的冗余續(xù)寫、同時保留完整推理前綴。

主實(shí)驗(yàn)：平均少 26.2% token，

準(zhǔn)確率基本不掉，速度也真的上去了

作者在 5 個長思考模型（DeepSeek-R1-Distill-Qwen 7B/14B/32B、Llama-3.1-Nemotron-Nano-8B、Qwen3-30B-A3B-Thinking）和 5 個高難度基準(zhǔn)（MATH-500、AIME24/25、OlympiadBench、GPQA-Diamond）上測試 PUMA。

結(jié)果是：平均減少 26.2% token，準(zhǔn)確率基本保持；部分設(shè)置下，因?yàn)榧皶r避開了答案后的「后期漂移」，準(zhǔn)確率反而略有上升。這點(diǎn)和單純要求模型「少說一點(diǎn)」不同。prompt 壓縮會連必要推理一起壓掉：例如在 Qwen3-30B 上，這類方法把準(zhǔn)確率從 Full CoT 的 81.7% 拉低到 45–60%，PUMA 則保持在 82.5%。

與只看答案 readiness 的 Answer Convergence、Dynasor、DEER 相比，PUMA 的準(zhǔn)確率 — 效率權(quán)衡也更穩(wěn)定。省下的 token 還能轉(zhuǎn)成真實(shí)推理速度：DS-7B 加速 1.40×，DS-14B 加速 1.28×。

LLM-as-Judge 的結(jié)果也顯示，PUMA 保留下來的思維鏈在連貫性、簡潔性和論證充分性上平均得分最高 —— 它做的是「刪掉收斂后的冗余」，不是把思考過程生硬砍半。

論文 Table 1：三個代表性模型 × 五個基準(zhǔn)的準(zhǔn)確率（Acc）—token 縮減率（TR）對比（完整五模型結(jié)果見附錄 Table 14）。

論文 Figure 3：token 縮減能否轉(zhuǎn)化為真實(shí)提速 ——PUMA 的冗余探測器僅占 0.4–1.1% 耗時，答案復(fù)核開銷也很小。

論文 Table 2：LLM-as-Judge 對各方法保留推理鏈的質(zhì)量評分，PUMA 平均最高。

可遷移到代碼生成和多模態(tài)推理，

還能把「該停就停」訓(xùn)練進(jìn)模型

這個信號還能零樣本遷移到文本數(shù)學(xué)之外：代碼生成（LiveCodeBench，僅調(diào)整冗余閾值 τ_sim=0.50）減少 18–19% token、pass@1 變化不超過 1.5 個點(diǎn)；多模態(tài)推理（MathVista / MathVision）不重訓(xùn)、不調(diào)參，token 減少 23.8–33.6%。

更進(jìn)一步，把 PUMA 選出的退出位置當(dāng)作監(jiān)督信號，用 SFT / DPO / GRPO內(nèi)化進(jìn)模型后，部署時不帶任何 PUMA 模塊也能自己「該停就停」——PUMA-RL 的平均準(zhǔn)確率（67.0）與 token 縮減（34.9%）都反超免訓(xùn)練版 PUMA（66.2 / 24.3%）。

論文 Table 3：遷移到代碼（LiveCodeBench）與多模態(tài)（MathVista / MathVision）推理的結(jié)果。

論文 Table 5：用 SFT / DPO / GRPO 把 PUMA 的停機(jī)信號內(nèi)化進(jìn)模型（評測集 MATH-500、AIME24、GPQA-Diamond）。

一句話總結(jié)：推理早停最容易踩的坑，是把「trial answer 的 readiness」當(dāng)成「推理收斂」。PUMA 用「最近的推理是否還在產(chǎn)生新的語義進(jìn)展」定位候選停機(jī)點(diǎn)，再用答案復(fù)核兜底 —— 實(shí)驗(yàn)表明，這是一個可靠、可遷移、也可學(xué)習(xí)的高效推理信號。（Limitation：方法依賴分步推理軌跡，當(dāng)輸出很短或難以切分時效果會打折。）

作者介紹

本文第一作者閔德海為伊利諾伊大學(xué)芝加哥分校計算機(jī)系博士生，導(dǎo)師為 Philip S. Yu 教授（ACM/IEEE/AAAS Fellow）。他目前在 ByteDance 美國團(tuán)隊(duì)擔(dān)任 Research Scientist Intern，工作聚焦 Agent Harness 與 Agent 數(shù)據(jù)合成，研究方向包括 RAG/Deep Research 及高效可信大模型。該論文合作單位包括 UIC、Google Research、UIUC 和米蘭理工大學(xué)。