清華特獎(jiǎng)獲得者顧煜賢，加入DeepSeek

機(jī)器之心編輯部

最近，DeepSeek 開(kāi)啟了瘋狂招人，崗位涉及算法、研發(fā)、產(chǎn)品、運(yùn)維、數(shù)據(jù)工程師以及職能等多個(gè)部門(mén)。

與此同時(shí)，DeepSeek V4 正式版將于本月中旬上線。在此前的 DeepSeek V4 論文作者列表中，我們發(fā)現(xiàn)了清華大學(xué) 2021 級(jí)博士生、2025 年研究生特等獎(jiǎng)學(xué)金獲得者顧煜賢（Yuxian Gu）的名字

就我們所知，顧煜賢已經(jīng)正式加入了 DeepSeek

顧煜賢還曾獲得 2025 年度蘋(píng)果博士獎(jiǎng)學(xué)金以及螞蟻 In-Tech 獎(jiǎng)學(xué)金。

「硬件資源受限時(shí)，算法創(chuàng)新就成為突破計(jì)算瓶頸的關(guān)鍵。」清華人顧煜賢表示。他是清華大學(xué)計(jì)算機(jī)系畢業(yè)年級(jí)博士生，本科同樣畢業(yè)于清華大學(xué)。

個(gè)人主頁(yè)顯示，顧煜賢在清華大學(xué)交互式人工智能課題組（Conversational AI, CoAI）學(xué)習(xí)，師從黃民烈教授。

個(gè)人主頁(yè)地址：https://t1101675.github.io/

他的研究主要關(guān)注如何在大語(yǔ)言模型的全生命周期中提升效率，覆蓋預(yù)訓(xùn)練、下游適配和推理等關(guān)鍵階段，最近主要從三個(gè)方向展開(kāi)相關(guān)研究：

• 預(yù)訓(xùn)練數(shù)據(jù)篩選：致力于構(gòu)建理論和算法，優(yōu)化大語(yǔ)言模型訓(xùn)練中的數(shù)據(jù)選擇過(guò)程，從而訓(xùn)練出更強(qiáng)大、更高效的模型。代表性工作包括 PDS、Instruction Pre-training 和 Learning Law。
• 模型壓縮中的知識(shí)蒸餾：設(shè)計(jì)新的方法，將大模型的知識(shí)有效遷移到更小、更易部署的模型中。該方向的代表性成果包括 MiniLLM 和 MiniPLM。
• 高效模型架構(gòu)：探索并設(shè)計(jì)新的模型架構(gòu)，在降低計(jì)算成本的同時(shí)提升模型性能，相關(guān)工作包括 Jet-Nemotron。

在 Google Scholar 主頁(yè)，顧煜賢的論文引用量已近 5000，超過(guò) 1000 的論文有兩篇，分別是《Pre-trained models: Past, present and future》和《MiniLLM: Knowledge distillation of large language models》。

顧煜賢作為一作，多次在 NeurIPS、ICLR、ACL 等國(guó)際 AI 學(xué)術(shù)頂會(huì)上發(fā)表論文。

機(jī)器之心在去年報(bào)道過(guò)「Jet-Nemotron」，一種全新的混合架構(gòu)語(yǔ)言模型新系列，在達(dá)到 SOTA 全注意力模型精度的同時(shí)，還具備卓越的效率。

Jet-Nemotron 的核心創(chuàng)新主要體現(xiàn)在以下兩點(diǎn)：

• 后神經(jīng)架構(gòu)搜索 (Post Neural Architecture Search，PostNAS)：一種高效的后訓(xùn)練架構(gòu)探索與自適應(yīng) pipeline，可適用于任意預(yù)訓(xùn)練的 Transformer 模型。
• JetBlock：一種新型的線性注意力模塊，其性能顯著優(yōu)于 Mamba2 等先前的設(shè)計(jì)。

論文地址：https://arxiv.org/pdf/2508.15884

當(dāng)時(shí)，2B 版本的 Jet-Nemotron 性能就能趕超 Qwen3、Qwen2.5、Gemma3 和 Llama3.2 等最 SOTA 開(kāi)源全注意力語(yǔ)言模型，同時(shí)實(shí)現(xiàn)了顯著的效率提升。在 H100 GPU 上，其生成吞吐量實(shí)現(xiàn)了高達(dá) 53.6 倍的加速（上下文長(zhǎng)度為 256K，最大 batch size）。

在 MMLU 和 MMLU-Pro 基準(zhǔn)上，Jet-Nemotron 的準(zhǔn)確率也超過(guò)了一些 MoE 全注意力模型，如 DeepSeek-V3-Small 和 Moonlight，盡管這些模型的參數(shù)規(guī)模更大。

在更早的 2024 年，顧煜賢及其合作者提出了一種將大語(yǔ)言模型蒸餾為更小語(yǔ)言模型的知識(shí)蒸餾方法，首先利用反向 Kullback-Leibler 散度（KLD）替代標(biāo)準(zhǔn)知識(shí)蒸餾方法中的正向 KLD 目標(biāo)，隨后推導(dǎo)出一種有效的優(yōu)化方法來(lái)學(xué)習(xí)這一目標(biāo)。

他們將得到的學(xué)生模型命名為 「MiniLLM」。在指令跟隨場(chǎng)景下的大量實(shí)驗(yàn)表明，相比基線方法，MiniLLM 能生成更精準(zhǔn)的回答，整體質(zhì)量更高，同時(shí)具有更低的曝光偏差、更好的校準(zhǔn)能力，以及更強(qiáng)的長(zhǎng)文本生成性能。

谷歌、阿里、英偉達(dá)等領(lǐng)先的開(kāi)源社區(qū)和產(chǎn)業(yè)平臺(tái)已采用這一方法。

論文地址：https://arxiv.org/pdf/2306.08543

我們也期待顧煜賢在人生的下一段「DeepSeek」中，帶來(lái)更多新的成果。