ICML 2026｜小模型也能「指揮」大模型RL后訓練：清華&騰訊提出GPS，最高減少69% Rollout成本

RLVR 已經成為提升大模型推理能力的重要后訓練路線。

在數學推理、代碼生成和復雜邏輯任務中，模型會針對同一個 prompt 生成多條 Chain-of-Thought，再通過可驗證獎勵判斷對錯，并據此更新策略。

但這條路線有一個很現實的問題：成本高。每個訓練 step 都需要大量 rollout，而這些 rollout 往往意味著反復調用大模型生成長答案。

那么，有沒有可能不再 “平均用力”，而是讓一個小模型提前判斷：哪些 prompt 更值得拿來訓練？

來自清華大學與騰訊的研究者提出了Generalizable Predictive Prompt Selection（GPS）。GPS 的做法很直接：先訓練一個小型、可泛化的 Prompt Predictive Model（PPM），讓它預測不同 prompt 在當前模型下的難度；再根據難度和 batch 多樣性選擇訓練樣本，從而減少無效 rollout。

實驗顯示，GPS 在數學推理和邏輯推理任務上都帶來了明顯收益：相比 Uniform 隨機采樣，訓練步數加速達到1.4×–2.0×；相比需要真實評估的 DS（Dynamic Sampling）Oracle 基線，GPS 在保持相近甚至更優性能的同時，最多減少69% rollout 成本，訓練時間減少28%–47%。更有意思的是，這個訓練過程中學到的小預測模型，還可以復用到測試時計算分配中：在固定預算下最高提升3.2%，或在性能不下降的情況下最多節省36.4%推理計算。

• 論文標題：Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models
• 論文地址：https://arxiv.org/abs/2602.01970
• 代碼地址：https://github.com/thu-rllab/GPS
• 論文作者：Yun Qu、Cheems Wang、Yixiu Mao、Heming Zou、Yuhang Jiang、Weijie Liu、Clive Bai、Kai Yang、Yangkun Chen、Saiyong Yang、Xiangyang Ji
• 機構：清華大學自動化系季向陽教授團隊、騰訊混元（LLM Department, Tencent）

研究背景：RL 后訓練很強，但 rollout 成本太高

近年來，大語言模型在數學、代碼和復雜問題求解上的進步，很大程度上依賴強化學習后訓練。

尤其是 RLVR：模型針對一個 prompt 生成多條長鏈式推理回答，再通過可驗證獎勵函數判斷對錯，最后用 GRPO、PPO、Reinforce++ 等算法更新策略。

這種方法有效，但代價非常高。原因很直接：每個訓練 step 都需要大量 rollout，而 rollout 需要真實調用大模型生成長答案，計算和顯存開銷都很大。

更關鍵的是，并不是所有 prompt 都同樣有訓練價值。

如果一個題太簡單，模型幾乎每次都能答對，獎勵沒有變化，梯度信號很弱；如果一個題太難，模型幾乎每次都答錯，同樣很難提供有效學習信號。真正有價值的，往往是那些 “模型有時能答對、有時會答錯” 的中等難度 prompt。

這意味著，RL 后訓練的核心問題之一不是 “能不能多訓練”，而是：

能不能在每一步訓練前，先找出更值得訓練的 prompt？

已有方法大致分為兩類。

一類是基于真實評估的方法，例如 Dynamic Sampling（DS）。它會對候選 prompt 額外做真實 rollout，再篩掉無效樣本。這類方法效果不錯，但額外評估本身就非常昂貴。

另一類是基于預測的方法，例如 MoPPS、GRESO 等。它們試圖根據歷史獎勵估計 prompt 難度，避免大量額外 rollout。但這些方法通常把每個 prompt 當成獨立對象建模：某個 prompt 被采樣得多，難度估計就更準；采樣得少，信息就很稀疏。更麻煩的是，大模型在訓練中不斷變化，同一個 prompt 的難度也會隨時間變化，獨立建模很難跟上這種動態變化。

因此，論文提出了一個更直接的問題：

是否可以構建一個輕量但可泛化的 PPM，讓它利用整個優化歷史，在不同 prompt 之間共享信息，并用更好的 batch 選擇策略提升 RL 后訓練效率？

GPS 正是圍繞這個問題展開：它不再依賴每一步都做昂貴的真實評估，而是用一個輕量 PPM 提前估計 prompt 的訓練價值。

方法：用小型可泛化 PPM，

預測哪些 prompt 更值得訓練

GPS 的目標不是替代大模型，也不是改變 RLVR 算法本身，而是在訓練數據選擇環節充當 “導航器”。

1. 從 “單題記賬” 到 “共享歷史”：可泛化的 Prompt Predictive Model

傳統 prompt-specific PPM 的問題在于，它更像是給每道題單獨建一本賬：這道題過去答對幾次、答錯幾次，就用這點歷史估計它現在的難度。

但模型能力的變化并不是按題目孤立發生的。訓練過程中，模型在某一類題型上變強后，語義相近、結構相似的其他題也可能隨之變容易。

為此，GPS 引入了一個全局潛變量，也就是論文中所說的 difficulty context。它可以被理解為一個壓縮后的 “當前訓練狀態”，用于記錄模型在過去優化過程中積累出的難度信息。

因此，即便某個 prompt 過去很少被采樣，GPS 也不至于完全缺少依據，它仍然可以參考相似 prompt 的歷史表現來估計難度。

論文還給出了理論分析：在歷史信息確實包含額外預測信號時，使用完整優化歷史進行預測，相比只使用 prompt-specific 歷史，能夠獲得更低的預測均方誤差。

2. 不只挑 “中等難度”，還要避免 batch 內重復

只預測難度還不夠，關鍵是如何選擇一整個 batch。

GPS 采用了一個統一的 batch utility。它由兩部分組成。

第一部分是難度收益。GPS 更偏好成功率接近 0.5 的 prompt，因為在二值獎勵場景中，這類樣本更容易產生非零獎勵方差，也更可能給 GRPO 等算法提供有效梯度。

第二部分是多樣性收益。GPS 不希望一個 batch 里的 prompt 都來自相似題型，否則訓練信號會冗余。它同時考慮：

• batch 內 prompt 之間要有足夠分散度；
• 當前 batch 與上一輪 batch 之間也要保持探索性。

這種設計被論文稱為history-anchored diversity。直觀理解就是：既要選 “難度剛好” 的題，也要讓訓練覆蓋更多不同區域，避免模型在局部題型上反復打轉。

3. 測試時也能用：把 PPM 變成計算預算分配器

GPS 的另一個亮點是，PPM 不只服務訓練。

對特別簡單的題，少采樣就夠了；對幾乎不可解的題，多采樣也未必有用；真正值得投入更多計算的，是 “有挑戰但仍可能解出來” 的題。

GPS 訓練得到的 PPM 可以預測測試 prompt 的難度，并據此把測試樣本分成不同區間：容易題和近乎不可解的題少分配預算，中等偏難、仍有希望的題多分配預算。

訓練階段學到的難度判斷，也就可以繼續用于測試階段的計算預算分配。

實驗設置：數學推理與邏輯推理，

兩類任務全面驗證

論文在兩類代表性推理任務上驗證 GPS。

數學推理方面，訓練集使用 DeepScaler，包含 40.3k 個競賽級數學問題；模型包括 DeepSeek-R1 Distill 1.5B 和 7B；評測集包括 MATH500、OlympiadBench、Minerva Math、AMC23、AIME24 等。同時，論文還用 MMLU-Pro、ARC-c、GPQA-diamond 測試 out-of-distribution 泛化能力。

邏輯推理方面，論文使用 Countdown Number Game，在 Countdown-34 的 20k 子集上訓練，并在 CD34 和更難的 CD4 上評測；模型包括 Qwen3-4B-Base、Qwen3-8B-Base，以及附錄中的 Llama-3.2-3B-Instruct。

對比方法包括：

• Uniform：隨機采樣 prompt；
• MoPPS：為每個 prompt 維護獨立 Beta 后驗；
• PCL：使用 LLM 估計 prompt 難度；
• GRESO：基于歷史獎勵統計進行概率過濾；
• DS / DS Oracle：通過真實額外評估篩選 prompt，效果強但成本高。

實驗結果一：

GPS 很快學會預測 prompt 難度

論文首先考察 PPM 的預測質量，使用 Spearman rank correlation 衡量預測難度與經驗成功率之間的排序相關性。

結果顯示，GPS 只需要很少訓練步數，就能快速建立有效相關性；隨著優化歷史積累，相關性繼續提升，p-value 也快速降低。換句話說，PPM 學到的不是某幾道題的孤立記錄，而是訓練過程中逐漸形成的 prompt 難度排序。

進一步比較發現，GPS 的難度預測質量顯著優于 MoPPS；同時，在有效樣本比例 ESR 上，GPS 也明顯高于 Uniform 和 MoPPS。

這里的 ESR 指一個 batch 中能夠產生非零獎勵方差的 prompt 比例。ESR 越高，說明這個 batch 中真正能提供訓練信號的樣本越多。

實驗結果二：訓練更快，性能也更高

在訓練曲線上，GPS 在 Countdown 4B、Countdown 8B、DeepScaler 1.5B、DeepScaler 7B 等多種設置下，都比 Uniform 更快達到相同性能水平。

論文報告，相比 Uniform，GPS 在訓練步數上帶來1.4×–2.0×加速。

如果把橫軸從訓練 step 換成 rollout 數量，GPS 的優勢會更明顯。

因為 DS 需要額外真實評估候選 prompt，雖然它在 step 維度上是強基線，但 rollout 成本顯著更高。相比 DS，GPS 最多減少69%rollout，同時仍保持相當甚至更好的最終效果。

數學推理結果

數學推理結果中，GPS 的優勢主要體現在兩個方面：一是平均準確率達到或超過 DS Oracle，二是在多數設置下訓練時間更短。

可以看到，在 DSR-1.5B 上，GPS 的 ID 平均準確率達到 56.5，與 DS Oracle 持平，但訓練時間只有 16h，而 DS Oracle 需要 30h；在 OOD 平均準確率上，GPS 達到 33.5，是該組最好結果。

在 DSR-7B 上，GPS 的 ID 平均準確率達到 67.4，超過 DS Oracle 的 67.0；OOD 平均準確率達到 51.5，同樣是最好結果。與此同時，GPS 訓練時間為 49h，明顯低于 DS Oracle 的 77h。

邏輯推理結果

Countdown 結果也延續了類似趨勢。

在 Qwen3-4B 上，GPS 平均準確率達到 66.6，高于 DS 的 66.2，訓練時間為 3.4h，低于 DS 的 4.9h。

在 Qwen3-8B 上，GPS 平均準確率達到 68.6，也略高于 DS 的 68.5，訓練時間為 5.0h，明顯低于 DS 的 6.9h。

因此，GPS 的收益不是簡單用性能換成本。在這些設置下，它一邊減少了 rollout 或訓練時間，一邊維持甚至提升了平均準確率。論文總結稱，相比 Uniform，GPS 在數學任務上帶來1.6–1.9 個點的平均提升，在邏輯任務上帶來4.1–5.7 個點的平均提升。

實驗結果三：測試時計算分配也能復用

GPS 的 PPM 在訓練中學到 prompt 難度后，還能泛化到測試 prompt。

論文在多個數學和邏輯測試集上驗證了這一點。結果顯示，在多數未見測試集上，PPM 預測難度與經驗成功率之間仍保持統計顯著相關。

結果顯示，相比默認固定分配，GPS 可以在固定預算下最高帶來3.2%相對提升；或者在性能無損的情況下最多節省36.4%計算預算。

這里值得注意的是：PPM 在訓練階段學到的難度判斷，并沒有只停留在樣本選擇上，還可以遷移到測試階段，用來決定哪些題值得分配更多采樣預算。

消融實驗：多樣性和潛變量都很關鍵

論文還進行了算法兼容性與消融實驗。

在算法兼容性方面，GPS 不只適用于 GRPO，也能與 PPO 和 Reinforce++ 結合。在 Countdown 實驗中，GPS 在兩種算法下都持續優于 Uniform。

這點很重要，因為 DS 這類基于真實評估的方法通常依賴每個 prompt 生成多條回答；而 PPO 可能是單響應生成設置，DS 的適配性會受到限制。GPS 依靠預測模型，不需要這種額外真實評估，因此更容易遷移到不同 RLVR 流程。

在消融實驗中，去掉 history-anchored diversity 會造成明顯性能下降；只去掉 inter-step exploration，也會帶來一定下降；如果把生成式 PPM 改成不含潛變量 z 的確定性 PPM，效果同樣變差。

消融結果也能對應回 GPS 的設計動機：共享歷史負責提升難度預測的泛化能力，batch 多樣性減少樣本冗余，潛在 difficulty context 則用于刻畫訓練過程中不斷變化的模型狀態。

總結：RL 后訓練不一定要更 “蠻力”，

也可以更 “會選題”

這篇工作的價值，不在于提出一個更復雜的 RLVR 更新算法，而在于把 prompt 選擇這個環節單獨拎了出來。

對 RL 后訓練來說，真正有價值的樣本往往不是最簡單的題，也不是完全解不出來的題，而是那些能夠產生有效獎勵差異的中等難度 prompt。GPS 用一個小模型提前識別這些樣本，并在 batch 里兼顧多樣性，從而讓大模型少做無效 rollout。

更進一步，訓練階段學到的難度預測能力還可以遷移到測試階段，幫助模型把采樣預算花在更值得嘗試的問題上。

在訓練成本越來越高的背景下，這類方法給出的啟發很直接：未來的大模型后訓練，可能不只是繼續堆 GPU 和 rollout，而是先判斷哪些題值得練、哪些計算值得花。

主要作者

曲云，清華大學自動化本科博士，在強化學習、大模型效率優化等領域發表頂級期刊 Nat Com 和 CCF-A 類論文 20 余篇，相關成果獲得圖靈獎得主及國際知名院士 / Fellow 團隊引用并正面評價，并受到 Meta、Apple、千問、混元等全球領先科技企業關注。

曾任騰訊混元 “青云計劃” 實習生，深度參與大模型訓練與優化，及智能體系統落地經驗。