單層RL超越全參數訓練，跨任務跨模型跨算法全部驗證

本文第一作者為明尼蘇達大學博士生張子健，指導老師為洪明毅教授。其他作者包括北京大學的胡日臻，Amazon的Hongzhou Lin，明尼蘇達大學的Athanasios Glentis、Dawei Li、Chung-Yiu Yau。

現有的 RL 后訓練方法統一更新所有 Transformer 層，隱含假設每一層對 RL 收益的貢獻是均等的。來自明尼蘇達大學、北京大學和亞馬遜的團隊挑戰了這一假設：通過對 7 個模型、跨越 2 個模型家族、3 種 RL 算法、3 個任務領域的系統性逐層研究，發現RL 收益高度集中在一小部分中間層，而非均勻分布。更令人驚訝的是，訓練單個 Transformer 層即可匹敵甚至超越全參數 RL 訓練，而基于這一發現的策略可以持續超越標準全參數 RL 訓練。

• 論文標題：《Is One Layer Enough? Training a Single Transformer Layer Can Match Full-Parameter RL Training》
• 論文鏈接：https://arxiv.org/abs/2607.01232

背景與動機：RL 后訓練的收益究竟來自哪里？

強化學習與可驗證獎勵（RLVR）已成為大語言模型后訓練的核心組件，在數學推理、代碼生成和智能體決策等任務上取得了顯著提升。然而，盡管大量研究關注于更有效的 RL 目標、獎勵模型和優化算法，一個更基本的問題卻很少被探討：

RL 的收益究竟從網絡的哪里產生？是所有層均等貢獻，還是集中在特定層？

事實上，預訓練 LLM 的層級結構高度不均勻這一現象已被多項研究證實。在推理階段，研究者發現移除某些層會導致性能崩潰，而移除另一些層幾乎沒有影響；有研究識別出“基石層”，其移除會使性能退化到接近隨機水平。在監督微調（SFT）階段，也有工作提出了隨機采樣層更新、重要性感知采樣、基于梯度統計的動態層選擇等策略。更值得注意的是，被識別為重要的層在不同數據集和訓練設置間保持高度一致，暗示預訓練模型具有穩定的層級結構組織。

然而，這些研究主要集中在推理行為分析和監督微調場景。RL 后訓練是否也具有和層有關的結構化模式（例如是否某些層對于RL的貢獻很大），此前幾乎沒有被探索過。理解這一層級結構不僅能揭示 RL 如何重塑預訓練模型，還可能為進一步改進 RL 后訓練提供新的算法設計思路。

現有的 RL 后訓練方法（如 GRPO、Dr. GRPO、GiGPO）統一更新所有 Transformer 層，隱含假設每一層對最終性能提升的貢獻是相似的。這篇工作通過系統性的逐層實驗，對這一假設提出了挑戰。

核心方法：層貢獻度（Layer Contribution）

為了量化每一層在 RL 后訓練中的作用，研究團隊提出了一個簡單而有效的指標——層貢獻度 C(k)：

對于一個有 L 層的 LLM，凍結除第 k 層以外的所有參數（包括 Embedding 和 LM Head），僅用 RL 訓練該層，然后將其性能提升與全參數 RL 基線進行對比：

圖1：層貢獻度計算公式

其中 S_base 為預訓練模型的評測分數，S_full 為全參數 RL 訓練后的評測分數，S_k 為僅訓練第 k 層后的評測分數。C(k) = 1.0 表示單層訓練匹配全參數 RL，C(k) > 1.0 表示超越全參數 RL。

這一框架的關鍵設計在于：梯度仍然通過整個網絡反向傳播計算，僅參數更新被限制在第 k 層。這確保了每一層都在相同的信息環境下被評估，差異僅反映層本身的學習能力。

舉一個具體的例子：在 Qwen3-1.7B-Base 上，預訓練模型的數學（涵蓋MATH，GSM8K，AMC，OlympiadBench）平均分為 44.1%。之后我們使用Numina-COT數據集對模型進行GRPO訓練。經過我們的數輪對于全參數 GRPO的 訓練與調優后，結果提升至 50.8%（提升 6.7 個百分點）。然而，當僅訓練 Layer 10 時，分數達到 51.8%，對應的層貢獻度 C = (51.8 ? 44.1) / (50.8 ? 44.1) = 1.14，意味著僅訓練這一層就恢復了全參數訓練 114% 的收益。而最弱的 Layer 24 僅達到 46.1%，C = 0.28，僅恢復了 28% 的收益。同一個模型內，最好層和最差層之間存在超過 4 倍的差距。

圖2：以Qwen3-1.7B-base的訓練結果為例，層貢獻度指標衡量了單層本身的學習能力，Layer10可以超越全量RL，而Layer24僅有全量RL 28%的收益

實驗設置

研究團隊在 7 個模型上進行了系統性實驗，覆蓋多個維度的變化：

• 多種模型大小和家族：Qwen3（1.7B/4B/8B）、Qwen2.5（1.5B/3B/DeepSeek-Distilled-7B）
• 多種 RL 算法：GRPO、Dr. GRPO、GiGPO
• 多個任務領域：數學推理（NuminaMath-CoT、DeepScaleR、MATH、Skywork）、代碼生成（DeepCoder）、智能體決策（ALFWorld）

評估體系：對于 Qwen3 主實驗，研究團隊在 12 個基準測試上進行評估，覆蓋四大類別：數學（MATH500、GSM8K、OlympiadBench、AMC）作為域內評估，以及三個域外類別——代碼（HumanEval+、MBPP、LiveCodeBench）、推理（GPQA-Diamond、MMLU-Pro）和語言（C-Eval、IFEval、MGSM）。總分為四個類別分數的等權平均。對于 Qwen2.5-Math-1.5B 和 DeepSeek-Distilled-Qwen-7B實驗，則在 6 個數學基準（AIME 2024、AIME 2025、AMC、MATH500、Minerva Math、OlympiadBench）上評估。對于智能體實驗，在 ALFWorld 的 6 類家務任務上評估成功率。

公平比較協議：為了確保單層訓練與全參數訓練的比較反映真實的層級差異而非超參數差異，研究團隊采取了嚴格的實驗協議：首先為全參數基線調優學習率并選擇最佳值，然后將該學習率統一應用于所有單層訓練，確保沒有任何層獲得不公平的優勢。所有配置使用相同的超參數（batch size、KL 系數、clip range、epoch 數）并訓練至收斂。此外還通過學習率消融實驗驗證了改變學習率不會改變層貢獻度的排序。

發現一：中間層主導 RL 收益，具有與訓練設置無關的高度一致性

在所有 7 個模型上，同樣的結構性規律反復出現：位于網絡深度 40–60% 的層始終擁有最高的層貢獻度，而靠近輸入端和輸出端的層貢獻顯著偏低。

圖3：7個模型的完整層貢獻度-層相對深度圖。7個模型均呈現出層貢獻度中間高兩邊低的趨勢，其中部分層單獨訓練可以超越全量RL，即處于層貢獻度大于1的綠色區域

跨數據集一致性

為驗證層貢獻度是否依賴于特定訓練數據，研究團隊在 Qwen3-1.7B-Base 上使用三個不同數據集分別進行單層訓練：NuminaMath-CoT（數學）、DeepScaleR（數學）和 DeepCoder（代碼）。對比 NuminaMath-CoT 和 DeepScaleR 兩個數學數據集，盡管數據組成和難度不同，28 層的貢獻度排序呈現強相關（Spearman ρ = 0.76, p < 0.001）——在一個數據集上排名高的層，在另一個數據集上同樣排名高。

跨任務一致性

更有意義的是跨任務的驗證：將 NuminaMath-CoT（數學）與 DeepCoder

（代碼）對比，這兩個任務訓練的是完全不同的能力，但層貢獻度排序仍然顯著相關（Spearman ρ = 0.59, p < 0.001）。即使訓練目標從數學推理切換到代碼生成，同樣的層仍然傾向于擁有最高貢獻。

圖4：在Qwen3-1.7B-base上，對于不同任務的層貢獻度進行了分析。結果顯示，即使更換訓練數據集和任務，層貢獻度的排序依然有高度的一致性

跨模型家族和 RL 算法一致性

在 Qwen2.5-Math-1.5B 上使用 Dr. GRPO（而非 GRPO）訓練，層貢獻度曲線保持了相同的中間高、兩端低的結構。最高貢獻層集中在 Layer 14（C = 1.01）和 Layer 16（C = 1.00），而最低貢獻層位于網絡后段（Layer 23，C = 0.42）。最佳層的貢獻度是最差層的兩倍以上。

圖5: Dr.GRPO訓練Qwen2.5-Math-1.5B的實驗結果

跨任務領域一致性

在智能體任務 ALFWorld 上使用 GiGPO 訓練 Qwen2.5-1.5B-Instruct 和 Qwen2.5-3B-Instruct，雖然任務性質從數學推理完全切換到了多步交互式決策，且 RL 增益幅度遠大于數學場景（83.7 和 66.0 個百分點 vs 數學任務的 6–10 個百分點），中間層集中的結構仍然保持不變。這說明該模式不局限于小幅度的適應，對大幅度的能力習得同樣成立。結果顯示，使用Layer 14訓練Qwen2.5-1.5B-instruct模型，在ALFWorld任務上能夠獲得超越全量訓練的結果（包括我們自己設立的訓練baseline以及GiGPO的官方結果）。使用Layer 16訓練Qwen2.5-3B-instruct模型也能一樣獲得超越全量訓練的結果。

圖6：GiGPO訓練Qwen2.5-1.5B-instruct和訓練Qwen2.5-3B-Instruct的實驗結果

這些結果共同表明層貢獻度是預訓練模型的一種內在結構屬性，由模型權重決定，而非取決于訓練數據或任務。

發現二：單層訓練可以超越全參數 RL

在測試的每一個模型上，最佳單層都達到或超過了全參數訓練（C ≥ 1.0）：

圖7：單層訓練在實驗的7個模型上均能超越全量RL

這一結果的意義在于它從根本上挑戰了當前 RL 后訓練的一個隱含假設：RL 帶的能力提升需要整個網絡的協調適應。事實表明情況恰恰相反——大部分 RL 收益可以被壓縮到極少數層的參數變化中。這意味著 RL 后訓練對模型的修改遠比我們想象的更加局部化：它并非在重塑整個網絡，而更像是在調整幾個關鍵的"旋鈕"。

一個自然的推論是：標準的全參數 RL 訓練可能本身就是次優的。當所有層被統一訓練時，低貢獻層的更新不僅沒有貢獻，反而可能引入噪聲或與高貢獻層的學習發生干擾，稀釋整體提升。這一推論在下文的選擇性訓練實驗中得到了直接驗證——凍結低貢獻層后，模型性能反而超過了全參數訓練。

實用策略：基于層貢獻度的訓練優化

基于上述發現，研究團隊提出了三種簡單而有效的基于層貢獻度的訓練策略：

策略一：層自適應學習率

對高貢獻層使用更高的學習率（1e-5），其他層保持默認率（5e-6）。在所有模型規模上均帶來穩定提升：在 Qwen3-1.7B 上，Boost B10 達到 53.70%，vs 基線 50.82%（+2.88）；在 Qwen3-8B 上，Boost B10 達到 67.42%，vs 基線 66.43%（+0.99）。

作為對照實驗，研究團隊也測試了提升最低貢獻層學習率的效果（Boost W5/W10）。結果在所有三個模型上均導致性能下降，確認了改進來自貢獻度引導的選擇而非學習率調整本身。

策略二：層選擇性訓練

僅訓練貢獻度最高的 k 層，凍結其余所有層。效果顯著：

• Qwen3-8B：僅訓練 top-10 層 → 69.11%，全參數 RL 為 66.43%（+2.68，代表全參數 RL 總增益的 32%）
• Qwen3-4B：僅訓練 top-5 層 → 65.87%，全參數 RL 為 62.97%（+2.90，代表 25% 額外增益）
• Qwen3-1.7B：僅訓練 top-5 層 → 51.53%，全參數 RL 為 50.82%（+0.71）

相反，僅訓練最低貢獻的 k 層則導致性能大幅下降（如 Only W5 在 1.7B 上僅 46.87%，4B 上 59.40%，8B 上 62.04%）。這表明在較大規模上，低貢獻層的更新可能并不有益，凍結它們反而產生更干凈的優化。

策略三：零分析啟發式

對于一個模型，我們可以不需要任何層貢獻度信息，直接按位置選擇中間 5 層進行訓練，進而獲得效果的提升。具體而言，對于 28 層的模型選擇 Layer 11–15，對于 36 層的模型選擇 Layer 15–19。

在 Qwen3-1.7B-Base 上，中間 5 層啟發式達到 51.35%，vs 貢獻度引導選擇的 51.53%（Only B5）和全參數基線的 50.82%。在 Qwen3-8B-Base 上，達到 68.19%，vs 68.97%（Only B5）和 66.43%（Full），額外增益代表了全參數 RL 總增益的 21%。

實用啟示：在所有三個模型規模上，這一簡單啟發式均超越了全參數 RL 基線。不需要對于新模型新任務去分析層貢獻度，簡單地訓練中間層就是一個強大的默認策略。

圖 8：基于層貢獻度引導的訓練策略在不同模型規模上的表現。藍色：對高貢獻層提升學習率。綠色：僅訓練高貢獻層。紅色：使用低貢獻層的對照實驗。紫色：基于位置的中間層啟發式。灰色：全參數基線（同時由虛線標示）。Bk/Wk：按層貢獻度排序的最優/最差 k 層。誤差棒表示 3 次獨立訓練的標準差。

深入分析：不是參數變化量，而是參數空間質量

一個自然的疑問是：中間層貢獻高，是否只是因為它們在全參數訓練中參數變化更大？如果全參數訓練后只有中間層的權重發生了顯著變化，那么中間層貢獻度高就是一個自然且不令人吃驚的結論。

為此，研究團隊在 Qwen3-1.7B-Base 上測量了每層的權重變化幅度 ‖Δθ_k‖?，得到兩個關鍵觀察：

觀察一：全參數訓練下，權重變化是均勻的。所有層的權重L2范數的變化幅度在 0.5 到 0.8 之間，分布非常均勻。中間層并沒有比其他層變化更多。然而它們在單獨訓練時卻能產生遠超其他層的性能提升。這種“權重變化均勻但貢獻度高度不均勻”的脫鉤，表明層貢獻度不能用參數變化幅度來解釋。

觀察二：單層訓練時，所有層的權重變化幅度也是相似的。當一個層被單獨訓練時，無論它是高貢獻層還是低貢獻層，其權重L2范數的變化幅度都在 0.8–1.0 之間——顯著大于全參數訓練時的變化（0.5–0.7），這表明單層需要在參數空間中移動更遠來補償其他層的凍結。但關鍵是：高貢獻層和低貢獻層經歷了相似幅度的權重變化，卻產生了截然不同的性能結果。

圖 9：Qwen3-1.7B-Base 上每層的權重變化幅度的L2范數?。藍色：全參數訓練（所有層均發生變化）。彩色尖峰：單層訓練（僅被訓練的層發生變化，其余層保持為零）。在全參數訓練下，各層的權重變化幅度相對均勻，與高度不均勻的層貢獻度形成鮮明對比。在單層訓練下，所有被訓練的層無論貢獻度高低都經歷了相近幅度的權重變化，表明層貢獻度反映的是該層參數子空間的有效性，而非參數變化的幅度。

這兩個觀察共同表明：層貢獻度反映的是一層參數子空間捕獲 RL 改進的有效性，而非參數變化的幅度。某些層的參數空間天然更適合承載 RL 帶來的能力提升。

總結

本文揭示了 RL 后訓練的一個此前未被認識的結構性屬性：

1.RL 收益高度集中：大部分 RL 提升集中在一小部分中間層，而非均勻分布在整個網絡。訓練單個層即可匹敵甚至超越全參數 RL。

2.層貢獻度具有一致的結構：中間層貢獻最高這一規律在不同模型家族、RL 算法、數據集和任務領域間保持穩定，是預訓練模型的內在屬性。

3.可直接指導訓練優化：簡單的基于層貢獻度的訓練策略（自適應學習率、選擇性訓練、中間層啟發式）均持續超越標準全參數 RL 訓練。

這些發現為理解 RL 如何改變大語言模型提供了新的視角，也為改進 RL 后訓練提供了實用的新方向。