剛剛，DeepSeek V4更新DSpark，推理速度提升80%

編輯｜澤南、楊文

剛剛，DeepSeek V4 進行了一次更新。

新推出了投機解碼（Speculative Decoding）框架DSpark，并同步開源了支撐該版本的全棧推測性解碼框架DeepSpec

DeepSeek-V4-Pro-DSpark 并非全新架構模型，而是在 DeepSeek-V4-Pro 基礎上引入了推測性解碼模塊。此次更新的重點在于工程落地，而非模型能力本身的迭代。

DSpark 已被部署在 DeepSeek-V4（Flash 和 Pro）的真實線上流量中，大幅加速了大語言模型（LLM）的推理速度。

• 技術報告：《DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation》
• 技術報告鏈接：https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf

DSpark 的核心初衷是解決在生產環境中（尤其是高并發場景下）LLM 推理面臨的延遲和吞吐量瓶頸。簡而言之，DSpark 成功地將高吞吐量的「并行生成」與自適應的「負載感知驗證」結合在了一起。

推測性解碼是一種在不改變模型輸出分布的前提下加速大語言模型推理的技術。其核心思路是引入一個輕量級的「草稿模型」（draft model），預先生成若干候選 token，再由目標模型（target model）對這批候選進行批量驗證和接受，從而將串行逐 token 生成轉變為并行批量校驗，大幅降低端到端延遲。

在此基礎上，DSpark 的創新在于引入半自回歸生成架構（Semi-Autoregressive Generation）：它保留并行草稿模型的高吞吐優勢，同時加入輕量級串行模塊，對 block 內 token 之間的依賴關系進行建模，以緩解并行草稿模型在后續位置上容易出現的接受率衰減問題。

除此之外還有硬件感知的置信度調度驗證（Confidence-Scheduled Verification）：以往的投機解碼通常會盲目地把生成的草稿 Token 全部送去驗證，在系統高負載時，這些極大概率會被拒絕的尾部 Token 會嚴重浪費寶貴的批處理算力。DSpark 引入了一個置信度頭（Confidence Head）來評估每個 Token 的存活概率。結合硬件感知前綴調度器，系統能夠根據實時的引擎吞吐量特征，動態為每個請求量身定制最優的驗證長度，將算力只分配給預期回報最高的 Token。

為了在真實的線上基礎設施中落地，DSpark 的調度器采用了異步機制，以兼容零開銷調度（ZOS）和連續的 CUDA 圖回放。它利用前兩步的歷史預測來決定當前的動態截斷長度，從而隱藏了調度延遲，避免了 GPU 流水線停頓，同時保證了目標模型輸出分布的完全無損還原。

在涵蓋數學推理、代碼生成和日常對話等多個領域的測試中，DSpark 大幅超越了目前最先進的自回歸模型（Eagle3）和并行草稿模型（DFlash）。例如，在 Qwen3 系列（4B、8B、14B）目標模型上，其平均接受長度比 Eagle3 提升了 26.7% 到 30.9%，比 DFlash 提升了 16.3% 到 18.4%。

相比于前一代部署的單 Token 生產基準（MTP-1），在維持相同總體吞吐量的情況下，DSpark 將用戶的生成速度分別提升了 60%-85%（Flash 模型）和 57%-78%（Pro 模型）

隨 DSpark 一同開源的還有 DeepSpec，這是一個用于訓練和評估推測性解碼草稿模型的全棧代碼庫。是承載這個方案以及其他前沿算法實現的「開源基礎設施」，包含數據準備工具、草稿模型實現、訓練代碼和評估腳本。

DeepSpec 將整體流程拆分為三個階段：數據準備、訓練和評估。三個階段需要按順序運行，前一階段的輸出會作為后一階段的輸入。

數據準備階段，需下載提示詞數據、使用推理引擎對目標模型重新生成答案，并構建目標緩存（target cache）。值得注意的是，以默認的 Qwen/Qwen3-4B 配置為例，目標緩存體積可達約 38 TB，使用前需充分評估存儲資源。

訓練階段可通過 bash scripts/train/train.sh 啟動。該腳本會調用 train.py，并為每張可見 GPU 啟動一個 worker。用戶可以通過指定 config_path，在 config/ 目錄下選擇不同算法和目標模型配置。項目也支持通過覆蓋 config_path、target_cache_dir，以及使用 --opts 修改單個配置字段來調整訓練設置。

硬件方面，DeepSpec 默認配置和腳本面向單節點 8 卡環境。如果 GPU 數量較少，用戶需要相應減少 CUDA_VISIBLE_DEVICES 中的可見 GPU 數量。

評估階段則通過 bash scripts/eval/eval.sh 啟動。評估腳本會使用訓練好的草稿模型 checkpoint，在多個 speculative decoding 基準任務上衡量接受情況。項目當前列出的評估數據集包括 GSM8K、MATH500、AIME25、HumanEval、MBPP、LiveCodeBench、MT-Bench、Alpaca 和 Arena-Hard-v2，覆蓋數學推理、代碼生成、對話能力和綜合問答等不同任務類型。

算法方面，DeepSpec 目前內置三種草稿模型：DSpark、DFlash 和 Eagle3。目標模型系列方面，項目當前支持 Qwen3 和 Gemma。

DeepSpec 的開源，將推測性解碼這一此前多散落于各研究團隊內部的工程實踐，整合為一套可復現、可擴展的標準化工具鏈。對于希望為自有大模型加速推理的研究者和工程師而言，這意味著可以直接在成熟框架上訓練定制草稿模型，跳過大量重復的基礎設施搭建工作。

https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf

https://github.com/deepseek-ai/DeepSpe