馬普所聯合清華大學推出d-OPSD，針對擴散語言模型在線自蒸餾學習

本文由馬普所聯合清華大學等機構共同完成。第一作者為清華大學碩士生羅一夫，研究方向為生成模型的后訓練，尤其是大語言模型的蒸餾學習與擴散模型的強化學習后訓練，目前已經在 NeurIPS、ICML 等頂級國際會議上以第一作者身份發表多篇論文。通訊作者為馬普所首席研究員劉世偉博士。

在線自蒸餾學習（On-policy Self-distillation, OPSD）已經在大語言模型領域刮起了一股旋風。作為一種新興的后訓練手段，OPSD 憑借著密集監督信號的獨特優勢，展現出了超越 RL 的后訓練效果，尤其是遠超 RL 數倍的訓練效率。但對于擴散大語言模型 (diffusion Large Language Models, dLLMs)，OPSD 在其上的應用仍然是一片空白，有待探索。

另一方面，目前針對（自回歸）大語言模型的 OPSD，普遍采用將參考解作為特權信息加入教師模型 prompt 中這一范式。這種方式簡單直接，但也天然具有一定缺陷。例如，近期的相關工作表明，這一范式雖然給予了教師模型獨特的先驗知識，但也會讓學生模型在蒸餾學習中產生幻覺，導致在最終推理時會默認 “參考解” 的存在，從而無法給出正確答案。

以上問題均指向同一個歸宿：針對擴散大語言模型，有沒有一種更為合適的 OPSD 范式？近期，清華大學和馬普所等機構的研究者們聯合推出的 d-OPSD，給這一問題提供了完美的答案。這是第一個針對擴散大語言模型的 OPSD 范式，無需參考解，無需額外的教師模型，只需要 RL 十分之一的訓練步數，便可以達到或超出 RL 的后訓練效果。d-OPSD 巧妙規避了教師模型對參考解的依賴，而是采用完全 On-policy 的學生軌跡來作為反饋給教師模型的特權信息。這一范式跳出了現有的 OPSD 桎梏，為擴散大語言模型，以及自回歸大語言模型的后訓練，揭示了全新的道路與方向。

• 論文標題：Learning from the Self-future: On-policy Self-distillation for dLLMs.
• 論文地址：https://arxiv.org/pdf/2606.18195
• 代碼地址：https://github.com/xingzhejun/d-OPSD

從學生生成的自我 “未來” 出發

d-OPSD 最大的創新點，便是針對 dLLMs 的任意順序生成特性，徹底重構了 OPSD 中教師模型的構建方法。不同于自回歸模型嚴格遵循從左向右的順序生成，dLLMs 迭代解碼的特性使其具備任意順序生成的能力，而這也為特權信息的注入提供了新的可能性。具體來說，d-OPSD 徹底拋棄了參考解注入的形式，而是讓學生模型先自己在線采樣，然后再將這些學生的自我 “未來” 隨機保留，反饋給教師模型作為特權信息。除此之外，針對 dLLMs 迭代解碼的特性，d-OPSD 也特意將 OPSD 的監督層級從 token 上升至 step，這為 OPSD 帶來了更為精準的密集監督信號。

d-OPSD 的以上做法有兩個好處。第一，特權信息也徹底變為 On-policy 由學生模型生成。之前的 OPSD 范式僅僅是在軌跡生成上由學生模型驅動，但在特權信息的注入上仍然是 Off-policy 的靜態參考解。與之相比，d-OPSD 則進一步將 On-policy 的特性貫徹到底。打個比方來說，這種做法就相當于穿越小說中的主角，先讓其經歷人生未來中的重要選擇與對應結果，然后再讓其重生，成為 “先知先覺” 的金手指。第二，這種自教師構建能夠帶來合適的 “教師 - 學生” 差異。在蒸餾學習中，教師和學生之間的重疊與差異直接決定了訓練效果的好壞。一個好的教師模型，既不能與學生差異過大（否則導致無法學習），也不能差異過小（否則導致無從學習）。D-OPSD 的研究團隊經過嚴謹的實驗，證明了其新穎的教師構建方式恰好能讓教師模型處在一個 “擁有學生不會的新知識，但又能和學生擁有相當的共同語言” 的完美生態位，保證了蒸餾學習的知識遷移（詳見下文）。

為了全面評估 d-OPSD 的有效性，研究團隊在四個數學推理 benchmark 上進行了實驗，并對比了 RL、SFT 等多種方法。結果顯示，d-OPSD 不僅在大部分任務上展現出了更好的推理表現，更是在訓練效率上遠遠超出了 RL。相比于 RL 需要上千步才能完成后訓練的收斂，d-OPSD 僅僅只需要數百步便可以完成訓練。這種對比再一次體現出了 d-OPSD 的設計優越性。

d-OPSD 的研究團隊也特意針對傳統的 “參考解注入” 這一 OPSD 范式進行了對比實驗。在多個數學推理任務上，d-OPSD 均展現出了更好的推理能力。更為重要的，如前文所述，d-OPSD 為自教師模型找到了更為合適的生態位。研究團隊以學生與教師模型之間的 TopK-distribution-overlap 為指標，全面地衡量了教師與學生之間的模型差異。結果顯示，傳統自回歸模型中的 “參考解注入” 其實并不能帶給教師模型足夠的新知識，學生與教師之間過大的 overlap 限制了蒸餾學習的上限。與之相對的，d-OPSD 的范式為教師模型帶來了足夠的新知識（thinking mode），從而突破了后訓練的上限。

在論文中，研究團隊介紹了更多的方法與實驗細節，并且實驗代碼也已經全部開源。d-OPSD 最大的意義，不僅在于它是第一個針對擴散大語言模型的在線自蒸餾學習范式，更在于它跳出了之前的 “參考解” 桎梏，為 OPSD 以及 OPD 提供了全新的思考與更多的可能性，并提供了一種切實可行的高效后訓練路徑。雖然方法不斷迭代，路徑不斷更替，但最終的通用智能，一定誕生于簡潔高效的訓練手段，以及富有知識性的智能模型。

論文鏈接：https://arxiv.org/abs/2606.18195