ICML 2026｜讓獎(jiǎng)勵(lì)模型更準(zhǔn)更高效，TikTok、NUS提出置信度門控

本文第一作者朱子瑞為新加坡國(guó)立大學(xué)四年級(jí)博士生，本科畢業(yè)于清華大學(xué)，研究方向?yàn)槎嗄B(tài)大模型和后訓(xùn)練優(yōu)化。通信作者為 TikTok 的 Kanchan Sarkar 和 Kun Xu，以及新加坡國(guó)立大學(xué)校長(zhǎng)青年教授尤洋老師。

文章速覽

• 獎(jiǎng)勵(lì)模型（Reward Model, RM）是大語言模型對(duì)齊的核心組件，負(fù)責(zé)為模型輸出提供符合人類偏好的評(píng)價(jià)信號(hào)。現(xiàn)有方法各有短板：標(biāo)量判別式 RM 高效穩(wěn)定但可解釋性有限；生成式 judge 能給出判斷理由，卻需為每個(gè)樣本生成長(zhǎng) reasoning，token 與延遲開銷顯著。
• 本文提出CAMEL：將獎(jiǎng)勵(lì)建模改造為置信度門控反思—— 先以單 token 給出初判，置信度足夠高直接輸出，置信度低才觸發(fā) reflection 復(fù)核。
• 關(guān)鍵發(fā)現(xiàn)：兩個(gè) verdict token 之間的log-probability margin與判斷正確性強(qiáng)相關(guān)，可作為 “樣本難度” 的零成本信號(hào)。
• 效果更強(qiáng)：在 RewardBench、RM-Bench、JudgeBench 上平均準(zhǔn)確率82.9%，較此前最佳提升3.2%，以14B參數(shù)超過多個(gè) 70B 級(jí)獎(jiǎng)勵(lì)模型。
• 成本更低：置信度門控建立更優(yōu)的準(zhǔn)確率 - 成本 Pareto 前沿，簡(jiǎn)單樣本只需1 個(gè) token，困難樣本才進(jìn)入反思。

• 論文標(biāo)題：CAMEL: Confidence-Gated Reflection for Reward Modeling
• 論文鏈接：https://arxiv.org/abs/2602.20670

背景：獎(jiǎng)勵(lì)模型為什么既重要又難？

近期，包括 DeepSeek DSpark/DeepSpec 在內(nèi)的一批工作，使 “按置信度分配計(jì)算” 成為推理系統(tǒng)研究的焦點(diǎn) —— 計(jì)算預(yù)算應(yīng)當(dāng)集中在真正不確定、真正有收益的位置。而在這批工作之前，CAMEL 已經(jīng)在獎(jiǎng)勵(lì)建模中系統(tǒng)地實(shí)踐了同一原則：讓模型先評(píng)估自身的確定性，再?zèng)Q定是否投入反思。

在 RLHF、RLAIF 等后訓(xùn)練流程中，獎(jiǎng)勵(lì)模型扮演 “偏好裁判” 的角色，為候選回答給出符合人類偏好的評(píng)價(jià)。它的質(zhì)量，直接決定大語言模型最終學(xué)到怎樣的行為。

過去幾年，獎(jiǎng)勵(lì)建模沿兩條路線發(fā)展。一類是scalar RM：為回答輸出標(biāo)量分?jǐn)?shù)，推理快、訓(xùn)練穩(wěn)定，但只有一個(gè)數(shù)字，在事實(shí)核查、安全邊界等細(xì)節(jié)上解釋力有限；另一類是generative judge（LLM-as-a-Judge）：先生成判斷理由再給出 verdict，更透明也更擅長(zhǎng)微妙比較，代價(jià)是每個(gè)樣本都要付出可觀的 token 成本與推理延遲。

然而，并不是所有偏好比較都需要 “長(zhǎng)思考”：對(duì)多數(shù)樣本，模型可以直接給出可靠判斷；真正值得反思的，只是少數(shù)不確定、易出錯(cuò)的困難樣本。CAMEL 要回答的正是：獎(jiǎng)勵(lì)模型到底什么時(shí)候需要 reflection？

方法：CAMEL 的置信度門控反思

CAMEL 的核心思想可以概括為一句話：先給出輕量初判，再由置信度決定是否反思；簡(jiǎn)單樣本直接輸出，困難樣本才復(fù)核。

第一步：?jiǎn)?token 初判。給定問題與兩個(gè)候選回答，模型先輸出初始 verdict（[[A]] 或 [[B]]）。CAMEL 不引入額外的置信度模型，而是直接利用模型自身的輸出分布：兩個(gè) verdict token 之間的log-probability margin越大，模型對(duì)判斷越有把握；margin 越小，樣本越模糊、越困難。

第二步：置信度門控反思。初判置信度高時(shí)，直接采納初判、結(jié)束生成；置信度低時(shí)，才進(jìn)入 reflection，圍繞安全性、準(zhǔn)確性、相關(guān)性、完整性等標(biāo)準(zhǔn)重新比較兩個(gè)回答，給出最終判斷。由此，簡(jiǎn)單樣本獲得 scalar RM 式的效率，困難樣本獲得 generative judge 式的細(xì)致復(fù)核。

訓(xùn)練上，為了避免反思流于形式、僅僅重復(fù)初判，CAMEL 引入Counterfactual Prefix Augmentation：對(duì)每個(gè)樣本構(gòu)造強(qiáng)制初判為 A、B 的兩個(gè)版本，再用GRPO訓(xùn)練，獎(jiǎng)勵(lì)只取決于最終 verdict 是否正確—— 初判正確應(yīng)當(dāng)確認(rèn)，初判錯(cuò)誤應(yīng)當(dāng)推翻。反思由此成為真正的自我修正機(jī)制，且不需要任何額外的人工解釋標(biāo)注。

實(shí)驗(yàn)：14B 模型也能成為強(qiáng)獎(jiǎng)勵(lì)模型

CAMEL 基于Qwen3-14B構(gòu)建，在 Skywork Reward Preference 80K 等偏好數(shù)據(jù)上訓(xùn)練，并在RewardBench、RM-Bench、JudgeBench三個(gè)主流獎(jiǎng)勵(lì)模型 benchmark 上評(píng)測(cè)，覆蓋聊天、安全、數(shù)學(xué)、代碼等任務(wù)類型。

結(jié)果顯示：只用單 token 判斷的CAMEL-Fast在三個(gè) benchmark 上分別達(dá)到 90.5%、74.8%、65.2%；對(duì)全部樣本反思的CAMEL-Reflection達(dá)到 92.8%、84.2%、71.6%，平均準(zhǔn)確率82.9%，比此前最佳 baseline 高出3.2%，并以14B參數(shù)超過 LLaMA-3.1-Nemotron-70B、INF-ORM-LLaMA3.1-70B 等 70B 級(jí)獎(jiǎng)勵(lì)模型。

分析：把計(jì)算花在真正困難的樣本上

置信度確實(shí)能區(qū)分簡(jiǎn)單樣本和困難樣本

分析顯示，正確判斷集中在高置信度區(qū)域，錯(cuò)誤判斷則集中在低置信度區(qū)域 ——模型自身的置信度是樣本難度的可靠指標(biāo)。這為選擇性反思提供了直接依據(jù)：只需讓低置信樣本進(jìn)入反思。對(duì)需要高頻調(diào)用獎(jiǎng)勵(lì)模型的線上系統(tǒng)而言，省去無差別的長(zhǎng) reasoning 意味著可觀的成本收益。

訓(xùn)練本身還帶來一個(gè)耐人尋味的現(xiàn)象（confidence shift）：CAMEL 訓(xùn)練后，置信度分布整體左移，中位數(shù)從 23.2 降至 5.9——模型反而變得更保守了。一個(gè)可能的解釋是，模型在訓(xùn)練中學(xué)會(huì)了識(shí)別對(duì)最終判斷真正關(guān)鍵的 token，因而在下結(jié)論時(shí)更為審慎。

反思是真正的自我修正

初判與反思結(jié)果的混淆矩陣進(jìn)一步驗(yàn)證了反思的價(jià)值：在 RM-Bench 上，反思糾正了 1565 個(gè)初判錯(cuò)誤的樣本，僅把 332 個(gè)原本正確的初判改錯(cuò)，凈增益 +1233；在 RewardBench 上凈增益同樣為正（+77）。反思帶來的是可度量的糾錯(cuò)能力，而非形式化的重復(fù)推理。

更優(yōu)的準(zhǔn)確率 - 成本折中

調(diào)節(jié)置信閾值，CAMEL 可以在 CAMEL-Fast 與 CAMEL-Reflection 之間連續(xù)調(diào)節(jié)，部署時(shí)可按吞吐、延遲與準(zhǔn)確率需求靈活取舍。與 RM-R1-DeepSeek-32B 等強(qiáng)生成式獎(jiǎng)勵(lì)模型相比，CAMEL-Fast僅用 1 個(gè) token即可達(dá)到可比表現(xiàn)，中等閾值下更能以顯著更少的 token 實(shí)現(xiàn)超越 ——CAMEL 不是簡(jiǎn)單地把 reasoning 加長(zhǎng)，而是把反思預(yù)算集中在最可能帶來收益的位置。

總結(jié)

獎(jiǎng)勵(lì)模型長(zhǎng)期面臨效率與表達(dá)能力的矛盾：標(biāo)量模型高效但不透明，生成式 judge 更強(qiáng)但成本高。CAMEL 用 verdict token 的 log-probability margin 作為零額外成本的置信度信號(hào)，先給出輕量初判、必要時(shí)才反思，并通過 counterfactual prefix augmentation 與 GRPO 讓反思真正學(xué)會(huì)確認(rèn)或糾錯(cuò)。

最終，CAMEL 以 14B 參數(shù)在三個(gè)主流評(píng)測(cè)上取得 82.9% 平均準(zhǔn)確率、超越此前最佳 3.2%，并給出可靈活調(diào)節(jié)的準(zhǔn)確率 - 成本 Pareto 前沿。它所體現(xiàn)的原則，如今正被推理系統(tǒng)研究廣泛驗(yàn)證：不要讓模型無差別地思考，而要把計(jì)算花在真正困難的地方。

「螞蟻InTech獎(jiǎng)」倒計(jì)時(shí)申報(bào)中

螞蟻InTech獎(jiǎng)是由螞蟻集團(tuán)發(fā)起，面向?qū)τ?jì)算機(jī)領(lǐng)域科研進(jìn)步有關(guān)鍵推動(dòng)作用的中國(guó)青年學(xué)者、青年博士頒發(fā)的純公益性獎(jiǎng)項(xiàng)，分為螞蟻InTech科技獎(jiǎng)與螞蟻InTech獎(jiǎng)學(xué)金。2026屆螞蟻InTech獎(jiǎng)將于7月17日24時(shí)截止申報(bào)，有意向申報(bào)的學(xué)者/同學(xué)歡迎掃描海報(bào)中二維碼進(jìn)行申報(bào)。