北航、北大和美團聯合提出：策略提升強化學習!

來自北航、北大、美團的研究團隊提出了Policy Improvement Reinforcement Learning,PIRL，以及對應的落地算法PIPO。這項工作關注的是大模型 RL 后訓練中一個非?；A、但長期被默認跳過的問題：一次更新在當前數據上看起來優化了學習信號，是否就真的說明模型策略變強了？

過去很多 RL 后訓練方法主要回答的是：當前這批軌跡該怎么學？

PIRL/PIPO 進一步追問的是：這一步學完之后，模型真的進步了嗎？如果進步了，能否進一步鞏固這一方向？如果沒有進步，甚至帶來了負面影響，能否及時削弱或校正這次更新？

• 論文標題：Policy Improvement Reinforcement Learning
• 論文：https://arxiv.org/abs/2604.00860
• 代碼：https://github.com/JacckMa/pipo_verl

主要貢獻

• 提出PIRL這一新的強化學習后訓練視角。它不只看當前批次里的獎勵、優勢估計或教師信號，而是把跨迭代的策略提升本身作為優化目標
• 提出PIPO這一即插即用的閉環優化框架。PIPO 可以直接接入幾乎現有所有的 RL 后訓練算法，如 PPO、GRPO、DAPO 和自蒸餾等方法。它不替代原方法中的局部學習信號，而是在其外層加入一層 “回頭驗證” 機制：對確實帶來策略提升的更新方向進行進一步放大，對未能帶來提升甚至造成性能下降的更新方向進行抑制、抵消或反向校正。
• 在數學推理、代碼、工具調用和自蒸餾設置下進行驗證。實驗顯示，PIPO 在多種基礎算法和任務場景中都帶來了一致提升。

背景：RL 后訓練已經很強，

但仍然是 “開環” 的

這兩年，大模型繼續變強的一個關鍵絕招，就是 RL post-training。

從經典的 PPO，到推理任務里常見的 GRPO、DAPO、GSPO，再到利用模型自身軌跡和反饋進行學習的 OPD 與自蒸餾，方法越來越多，效果也越來越強。它們都在解決一個核心問題：如何把當前這批數據里的獎勵、優勢估計、執行反饋或教師信號，轉化成一次有效的參數更新，探索出新策略。

這些方法當然能推動策略變強，這也是 RL 后訓練成為主流范式的原因。但它們大多還有一個共同特點：優化主要發生在當前采樣軌跡上。也就是說，算法會認真計算當前這批軌跡該怎么學，卻很少顯式驗證這一步學完之后，新的策略是否真的比過去更好。

這就是本文所說的開環優化。開環并不意味著方法無效，而是說訓練過程少了一個關鍵環節：更新之后的效果驗證，以及基于驗證結果對上一輪更新方向進行回溯校正。

RL 后訓練不能只盯著當前批次里的局部信號，還需要一個跨時間的驗證機制，以及能夠對歷史更新方向進行再加權、抑制或校正的回溯調整機制。

PIRL：把 “策略提升” 本身變成優化目標

論文在理論上證明了：這個目標不會改變最終優化方向。對于固定初始策略，最大化累計策略提升，和最大化最終策略性能是對齊的；也就是說，這種目標改寫并沒有偏離最終想要的模型能力。

因此，PIRL 并不是否定獎勵、優勢或教師信號，而是補上它們缺少的一環：更新之后，要驗證這一步有沒有真的轉化成策略提升。

PIPO：讓訓練過程學會 “回頭看”

基于 PIRL，論文進一步提出了Policy Improvement Policy Optimization, PIPO。它的核心是兩步：先讓基礎算法正常探索，再在下一輪利用策略提升反饋回頭驗證這次探索是否真的帶來了策略進步。如果新策略相較歷史基準表現更好，PIPO 會認為上輪更新方向與策略提升一致，從而進一步放大、鞏固這一方向；如果新策略沒有帶來提升，甚至導致性能下降，PIPO 則會削弱該更新方向的影響，必要時通過回溯校正在優化意義上抵消有害更新。

這一步回答的是：當前這批軌跡該怎么學？

因此，策略提升目標可以被寫成類似 PPO 的裁剪形式：

這樣一來，PIPO 就可以在 PPO、GRPO、SDPO 等原有方法基礎上即插即用地加入跨迭代驗證。它把單批次內的局部學習信號和批次之間的歷史表現聯系起來，讓每次更新都多一道判斷：這次更新之后，模型整體有沒有更強？如果變強，就鞏固有效的更新方向；如果變弱，就削弱有害的更新影響。由此，原本開環的 RL 后訓練被轉化為帶有策略提升反饋的閉環優化過程。

實驗驗證

論文首先在數學推理任務上驗證 PIPO。

結果顯示，PIPO 接到 PPO、GRPO、GSPO、DAPO 后，平均表現、思考長度都有所提升。

PIPO 不是只對數學推理有效。論文進一步在代碼任務和工具調用任務上進行了實驗驗證。論文還驗證了 PIPO 在自蒸餾設置下的提升作用。

結語：RL 后訓練需要更好的閉環

過去很多 RL 后訓練方法在努力回答一個問題：當前這批軌跡該怎么學？PIRL/PIPO 進一步追問：這一步學完之后，模型真的變強了嗎？

這也是本文最核心的觀點：RL post-training 不能只盯著當前批次里的獎勵、優勢估計或教師信號。真正重要的是，每次更新之后，模型有沒有產生可驗證的策略提升，從而對更新進行動態的強化或者削弱。

PIRL 把 “進步” 本身定義為優化目標。PIPO 則把這個目標變成了一個可以接入現有算法的閉環訓練框架。

如果說傳統 RL 后訓練更像是在不斷根據當前信號往前走，那么 PIRL/PIPO 想做的是：讓模型每走一步，都回頭看一眼，確認自己是不是真的在變強，并進一步鞏固有效方向、校正有害影響。