告別審稿抽卡！全新LLM校準機制，給AI頂會統一打分尺度

新智元報道

21,575。

這是NeurIPS 2025收到的論文投稿數量。

與2020年相比，這一數字增長超過一倍。與此同時，ICLR 2026投稿量也逼近2萬篇。AI頂會熱度持續走高，海量稿件涌入的背后，同行評審體系長期存在的痛點被無限放大。

不少投稿人都有同款困惑：兩份措辭高度接近的審稿意見，最后給出的分數卻能相差巨大。如今投一篇頂會論文，體驗越來越像一場純靠運氣的「抽卡游戲」。

例如，兩位審稿人都認為論文「缺少必要的消融實驗」。其中一位認為只是需要補充實驗，因此給出較高分；另一位則將其視為影響論文質量的關鍵問題，直接給出低分。

表面上，兩人的意見高度一致，真正不同的是，他們對同一句評語對應著不同的評分尺度。

隨著投稿規模不斷擴大，這種評分尺度的不一致，正成為影響同行評審公平性和穩定性的重要因素。

近日，來自華中科技大學的李欽賓研究團隊在ICML 2026 Position Paper Track提出了一種新的解決思路：不是讓大語言模型替代人類審稿，而是利用LLM對「評語—分數」之間的映射關系進行校準。

論文鏈接：https://openreview.net/forum?id=PEyouQzOLD

為什么沒有選擇讓LLM直接審稿？

面對評審人手不足、打分標準混亂的現狀，很多人會直觀提出解決方案：干脆交給LLM完成全自動審稿。華科大團隊給出的答案是否定的。

在研究者看來，學術評審絕非簡單對錯判斷，還需要綜合衡量工作創新價值、領域發展意義、研究長遠潛力等高階學術認知，這類深度領域判斷依托研究者長期積累的行業經驗，很難完全交由模型獨立完成。

除此之外，完全AI主導評審還會催生投機亂象：若作者知曉論文命運由大模型裁決，寫作重心會轉向刻意迎合模型偏好，而非聚焦真實科學問題的突破，徹底偏離學術研究初衷。

論文指出，目前同行評審實際上包含兩個過程：一是審稿人閱讀論文并形成定性判斷；二是將這些判斷壓縮為一個最終分數。

真正容易出現偏差的，恰恰是第二步。

因此，這項工作的目標并不是構建一個自動審稿系統，而是解決同行評審中另一個長期存在的問題——如何讓文字評語和最終評分保持一致。

在現有評審流程中加入一個「評分校準器」

作者提出的方案沒有改變現有同行評審流程，而是在后臺增加了一層LLM校準模塊（Calibration Layer）。

整個流程可以概括為三個環節。

• LLM對審稿意見進行結構化分析，將自由文本整理為論文的Pros（優點）和Cons（缺點）。

• 在統一Prompt和固定評分標準下，根據這些優缺點生成一個Anchor Score（錨點分數），作為一把統一尺度下得到的參考分數。

• 系統比較審稿人實際評分與Anchor Score之間的差值（Residual）。如果兩者接近，說明評分與評語基本一致，無需額外處理；如果差距較大，則觸發一次輕量級復核，要求審稿人重新確認評分，或者補充更多文字說明，解釋為何自己的評分明顯偏離常規尺度。

整個過程中，LLM不會新增任何學術評價，也不會參與錄用決策，更不會替代領域主席（AC）或程序委員會（PC）的判斷。它承擔的角色更接近于一名「評分審計員」，負責檢查分數是否能夠被評語合理支撐。

三屆ICLR

評分尺度差異正在擴大

團隊基于ICLR 2023–2025三屆頂會公開數據，開展大規模實證分析，數據集覆蓋2.2萬余篇論文、5.2萬條評審記錄，能夠真實反映近年頂會評審狀態。

數據清晰證實，頂會審稿存在明顯的年度尺度漂移：不同審稿人的打分標準差異逐年變大，相同評價對應懸殊分數的現象愈發普遍。

從量化指標來看，衡量評審分歧的核心偏差跨度指標逐年上漲，2023年整體偏差相對可控，2024年小幅惡化，到2025年打分離散程度顯著提升，極端不合理打分的占比持續走高。

隨著投稿量激增，審稿人的主觀打分標準越來越不統一，評審隨機性、不公平性逐年加劇。

校準后的評分

更接近論文的長期影響力

頂會評審中，最具爭議的通常是錄用邊緣論文（Borderline Papers）。這些論文往往處于錄用與拒稿之間，一點評分差異就可能影響最終結果。

為了驗證校準機制是否能夠改善這一問題，作者以論文長期引用量作為客觀參考指標，對比人工原始評分與LLM錨點校準后的排序結果。

實驗結果顯示，經過統一評分尺度校準后，論文排序與長期學術影響力之間具有更高的一致性。

以ICLR 2023數據為例，在最難取舍的5–6分臨界區間，LLM校準篩選出的論文，其平均引用量相比僅依據人工評分篩選提升了94%。

這一結果說明，統一評分尺度后，可以在一定程度上減少不同審稿人評分習慣帶來的影響，使評審結果更加一致，也更容易保留后續產生較大學術影響力的邊緣論文。

離線仿真復核實驗

除了離線分析之外，團隊還針對高偏差評審樣本開展了離線仿真復核實驗。

當審稿人的實際評分與Anchor Score存在較大偏差時，系統會自動觸發輕量級復核流程，請審稿人重新確認當前評分，或者補充更多文字說明，解釋評分依據。

實驗結果顯示，這種基于Residual的復核機制能夠有效縮小缺乏評語支撐的評分偏差，在保留合理學術分歧的同時，減少由個人評分尺度差異帶來的極端打分。

作者強調，這一機制并不會統一所有審稿人的觀點，也不會改變同行評審的決策流程，而是在保留專家判斷的前提下，為評分提供一套統一的參考尺度。

隨著AI頂會投稿規模持續增長，同行評審面臨的壓力仍在不斷增加。

對于這項工作而言，LLM的角色并不是替代審稿人完成評審，而是在現有評審流程之外，為文字評語與最終評分之間增加一層校準機制，希望借此減少評分尺度不一致帶來的隨機性，為同行評審提供更加穩定的參考依據。

參考資料：

https://openreview.net/forum?id=PEyouQzOLD

編輯：LRST