蒸餾效果起飛！DOPD破解「特權幻覺」，讓在線策略蒸餾更有效

得益于令人印象深刻的效果，「在線策略蒸餾」 (On-policy Distillation)一直是近期的熱門話題。這種方式通過使用密集的教師 Token 級信號監督學生采樣軌跡，提供卓越的能力轉移。為了提供高質量的監督源，從而提升蒸餾的性能，一個直觀的方向是將「特權信息」 (Privileged Information)注入教師或學生自身。然而，這種 "開外掛" 的方式，不一定能讓學生學得更好，反而可能陷入「特權幻覺」(Privilege Illustion)的陷阱。

• 論文標題: DOPD: Dual On-policy Distillation
• 論文鏈接: https://arxiv.org/abs/2606.30626

最近，來自新加坡國立大學、香港中文大學 MMLab、北京大學和京東探索研究院的研究團隊提出了一種全新的在線策略蒸餾方法:DOPD(Dual On-policy Distillation) ，通過優勢感知的雙重蒸餾范式，成功破解了這一難題。

實驗結果令人驚艷：在 LLM 設置下，DOPD 讓學生模型平均提升7.5 分，閉合了89.8%的初始師生差距；在 VLM 設置下也提升了6.0分。在師生模型尺寸差距最大的情況下 (8B→0.6B) ，DOPD 的提升幅度是 Vanilla OPD 的4 倍！

圖一: DOPD 在基于 LLM 和 VLM 的在線策略蒸餾中的表現。

"特權幻覺": 在線策略蒸餾中的隱形陷阱

在大模型蒸餾中，人們通常認為：給教師模型提供更多信息 (比如推理提示、視覺標注等 "特權信息") ，教師就能教得更好，學生自然也能學得更好。

但這篇論文的作者們發現了一個反直覺的現象 「特權幻覺」 (Privilege Illusion)：

表面上看，有特權信息的教師模型表現更強，但這種優勢可能只是因為 "信息不對稱"，而非真正的能力差距。學生模型模仿的可能只是教師利用特權信息的 "捷徑"，而非真正可遷移的能力。

就像一個開卷考試考滿分的老師，未必能教會閉卷考試的學生真正的解題能力。

更糟糕的是，這種特權幻覺還會導致：熵崩塌，模型過早收斂，失去探索能力；效果退化，訓練后期性能不升反降；泛化變差，學到的都是 "特權依賴" 的假能力

圖二：加入特權信息后的表現和熵蒸餾變化趨勢。T., S., Priv. 分別代表教師，學生和加入特權信息。

DOPD: 特權優勢感知的雙重蒸餾

為了解決這個問題，研究團隊提出了 DOPD，一種優勢感知的雙重蒸餾范式。

核心思想：不是所有 token 都值得用同樣的方式學習。DOPD 會根據每個 token 的特權優勢差距和師生預測置信，動態決定用什么方式、什么強度、監督信號來自哪里來蒸餾。

首先，分別對教師模型和學生模型在有特權信息的參與下，進行一次前向計算 (Forward Pass)，計算兩者之差作為「特權優勢差」 (Privilege Advantage Gap):

圖三: Token 消融實驗。

結合特權優勢差，以及特權師生分別的預測置信，DOPD 在 Vanilla OPD 的基礎上，將所有 token 分別采用四種精心設計的方式分別蒸餾:

圖四: DOPD 框架。

• 高優勢差 + 教師高置信 (關鍵知識 token)
• 策略: 「教師蒸餾」+「全詞表 JS 散度」
• 目的：這是真正的能力差距所在，必須用最強的監督

• 低優勢差 + 雙方高置信 (共識 token)
• 策略: 「輕量教師蒸餾」+「Top-K 反向 KL」
• 目的：主要是特權信息帶來的共識，保守吸收即可

• 低優勢差 + 雙方低置信 (不確定 token)
• 策略: 「弱自蒸餾」+「Top-K 反向 KL」
• 目的：防止模型漂移，不強行模仿不確定的內容

• 高優勢差 + 學生高置信 (探索性 token)
• 策略: 「輕量自蒸餾」+「Top-K 反向 KL」
• 目的：保護學生的探索行為，不被教師壓制

核心實驗結果：優勢顯著

結果 1: 在線策略蒸餾效果提升明顯，適配大語言模型 (LLM) 和視覺語言模型 (VLM) 蒸餾

在 8 個基準測試上，DOPD 平均得分 51.4，比 Vanilla OPD 高出 7.5 分，縮小了 89.8% 的師生差距。并且與三類 OPD 范式中 9 種已有 SOTA 方法相比，在所有基準上都取得了最好的表現。值得一提的是，在部分推理和編碼等挑戰性任務上，DOPD 甚至超越了原始教師模型。這說明特權信息真正轉化成了學生的能力，而不是特權幻覺。

表一: DOPD 在 8 種 LLM-based 基準上與其他方法的對比

此外，在視覺語言模型上，DOPD 同樣表現出色：平均提升 6.0 分，恢復了 69.2% 的師生差距。特別是在視覺理解任務上，DOPD 能有效蒸餾教師的視覺注意力和推理能力。

表二: DOPD 在 8 種 VLM-based 基準上與其他方法的對比

結果 2: 魯棒性和可擴展性佳，師生差距越大，優勢越明顯

傳統蒸餾方法有個通病：老師越強、學生越弱，蒸餾效果反而越差。但 DOPD 完美解決了這個問題：能力差距越大，DOPD 的優勢越明顯。為了證明 DOPD 在不同師生組合上的魯棒性和在初始師生差距更大的組合下的蒸餾表現，進行了額外的對比實驗。令人印象深刻的是：當師生模型尺寸差距較小時 (4B→1.7B)，DOPD 提升 6.2 分；而當師生模型尺寸差距很大時 (8B→0.6B) ，DOPD 提升 14.1 分，是 Vanilla OPD 的 4 倍！

表三: DOPD 在不同模型組合下的表現

圖五：在不同師生尺寸比下的絕對表現提升 (左) 和師生差距減小程度 (右)。

結果 3: 持續學習和分布外性能評估依舊優異

此外，DOPD 的優勢不止于此：在持續學習的三階段蒸餾中，DOPD 能更穩定地積累能力，顯著優于 Vanilla OPD 和傳統的強化學習 GRPO 方法；在分布外泛化任務中，DOPD 在領域外任務中的泛化能力比第二名高出 3-4 分。

圖六：三階段持續學習任務 (左) 和分布外任務 (右) 表現評估

額外分析：進一步驗證合理性和有效性

分析 1: 訓練過程更加穩定且持續

穩定性是蒸餾方法的重要指標之一，很多 OPD 方法雖然最終效果不錯，但蒸餾過程波動大，容易崩。DOPD 在這方面表現優異：性能曲線平穩上升，全程穩定提升，沒有大幅波動；收斂速度快，在第 80 步就達到了其他方法第 200 步的水平；熵變化健康，先小幅上升 (探索)，再逐漸下降 (收斂)，最后穩定在合理水平。

圖七：蒸餾過程表現 (左) 和熵 (右) 變化趨勢

分析 2: 關于特權信息、Token 分類、蒸餾范式的分析，進一步說明設計的合理性

關于不同特權信息效果分析：不是暴露的答案越多越徹底越好，而是要恰到好處。研究團隊測試了 5 種不同形式的特權信息。實驗指出，直接給最終答案效果最差，甚至不如不給特權信息，因為學生直接背答案了，根本沒學能力；特權信息不是越詳細越好，而是要提供 "能力導向" 的引導；最優的特權信息是：給出與能力掛鉤的提示，但不直接給答案和細節。這進一步驗證了 "特權幻覺" 的存在，也說明 DOPD 選擇的特權信息形式是合理的。

表四：不同文本 (左) 和視覺 (右) 特權信息注入的影響

為了直觀展示 token 分類的效果，研究團隊可視化了一條真實軌跡中的 token 分布，這種分布與直覺完全一致，也證明了 DOPD 的 token 分類是有實際語義意義的，不是隨便分的。

圖八: Token 分類結果可視化

此外，研究團隊還對比了不同類型 token 以及 token 組合的作用程度，以及不同散度目標和蒸餾策略的效果。證明了 DOPD 根據不同 token 的特點和目的，設計不同的蒸餾策略的合理性和有效性。

表五：不同 Token / 組合 (左) 和蒸餾策略 (右) 的表現

分析 3: 敏感性和消融實驗

敏感性分析結果顯示 DOPD 對參數不敏感，在較大范圍內都能保持優異性能；消融實驗說明 DOPD 每個組件都有明確的貢獻，合在一起才實現了最佳效果。

圖六：敏感性 (左) 和消融實驗 (右)

展望：在線策略蒸餾的新思路

DOPD 重新思考了在線策略蒸餾的本質。站在今天的視角回望，蒸餾技術已經走過了很長的路：從最初簡單的概率模仿，到在線策略蒸餾，再到今天的優勢感知雙重蒸餾。每一次進步，都讓我們對 "如何高效傳遞能力" 這個問題有了更深的理解。未來，圍繞這個思路下的在線策略蒸餾可能還有很多值得探索的方向。