盤古之殤：華為諾亞盤古大模型研發(fā)歷程的心酸與黑暗

在程序員之家Github看到一篇熱帖，鏈接現(xiàn)在還在，作為一名前程序員，就轉(zhuǎn)帖一下。

南無阿彌陀佛！！！

各位好，

我是一名盤古大模型團(tuán)隊，華為諾亞方舟實驗室的員工。

首先為自證身份，列舉一些細(xì)節(jié)：

1. 現(xiàn)諾亞主任，前算法應(yīng)用部部長，后改名為小模型實驗室的主任王云鶴。前諾亞主任：姚駿（大家稱姚老師）。幾個實驗室主任：唐睿明（明哥，明隊，已離職），尚利峰，張維（維哥），郝建業(yè)（郝老師），劉武龍（稱呼為武龍所）等。其他骨干成員和專家陸續(xù)有很多人離職。
2. 我們隸屬于“四野”這個組織。四野下屬有許多縱隊，基礎(chǔ)語言大模型是四縱。王云鶴的小模型是十六縱隊。我們參加過蘇州的集結(jié)，有各種月份的時間節(jié)點。在蘇州攻關(guān)會頒發(fā)任務(wù)令，需要在節(jié)點前達(dá)成目標(biāo)。蘇州集結(jié)會把各地的人員都集中在蘇州研究所，平常住賓館，比如在甪直的酒店，與家人孩子天各一方。
3. 在蘇州集結(jié)的時候周六默認(rèn)上班，非常辛苦，不過周六有下午茶，有一次還有小龍蝦。在蘇州研究所的工位搬遷過一次，從一棟樓換到了另一棟。蘇州研究所樓棟都是歐式裝修，門口有大坡，里面景色很不錯。去蘇州集結(jié)一般至少要去一周，甚至更久，多的人甚至一兩個月都回不了家。
4. 諾亞曾經(jīng)傳說是研究型的，但是來了之后因為在四野做大模型項目，項目成員完全變成了交付型的，且充滿了例會，評審，匯報。很多時候做實驗都要申請。團(tuán)隊需要對接終端小藝，華為云，ICT等諸多業(yè)務(wù)線，交付壓力不小。
6. 諾亞研發(fā)的盤古模型早期內(nèi)部代號叫做“盤古智子”，一開始只有內(nèi)部需要申請試用的網(wǎng)頁版，到后續(xù)迫于壓力在welink上接入和公測開放。

這些天發(fā)生關(guān)于質(zhì)疑盤古大模型抄襲千問的事情鬧的沸沸揚揚。作為一個盤古團(tuán)隊的成員，我最近夜夜輾轉(zhuǎn)反側(cè)，難以入眠。盤古的品牌受到如此大的影響，一方面，我自私的為我的職業(yè)發(fā)展擔(dān)憂，也為自己過去的努力工作感到不值。另一方面，由于有人開始揭露這些事情我內(nèi)心又感到大快人心。

在多少個日日夜夜，我們對內(nèi)部某些人一次次靠著造假而又獲得了無數(shù)利益的行為咬牙切齒而又無能為力。這種壓抑和羞辱也逐漸消磨了我對華為的感情，讓我在這里的時日逐漸渾渾噩噩，迷茫無措，時常懷疑自己的人生和自我價值。

我承認(rèn)我是一個懦弱的人，作為一個小小的打工人，我不僅不敢和王云鶴等內(nèi)部手眼通天的人做對，更不敢和華為這樣的龐然大物做對。

我很怕失去我的工作，畢竟我也有家人和孩子，所以我打心眼里很佩服揭露者。但是，看到內(nèi)部還在試圖洗地掩蓋事實，蒙蔽公眾的時候，我實在不能容忍了。我也希望勇敢一次，順從自己本心。就算自損八百，我也希望能傷敵一千。我決定把我在這里的所見所聞（部分來自于同事口述）公布出來，關(guān)于盤古大模型的“傳奇故事”：

華為確實主要在昇騰卡上訓(xùn)練大模型（小模型實驗室有不少英偉達(dá)的卡，他們之前也會用來訓(xùn)練，后面轉(zhuǎn)移到昇騰）。曾經(jīng)我被華為“打造世界第二選擇”的決心而折服，我本身也曾經(jīng)對華為有深厚的感情。我們陪著昇騰一步步摸爬滾打，從充滿bug到現(xiàn)在能訓(xùn)出模型，付出了巨大的心血和代價。

最初我們的算力非常有限，在910A上訓(xùn)練模型。那會只支持fp16，訓(xùn)練的穩(wěn)定性遠(yuǎn)不如bf16。盤古的moe開始很早，23年就主要是訓(xùn)練38Bmoe模型和后續(xù)的71B dense模型。71B的dense模型通過擴增變成了第一代的135Bdense模型，后面主力模型也逐漸在910B上訓(xùn)練。

71B和135B模型都有一個巨大的硬傷就是tokenizer。當(dāng)時使用的tokenizer編碼效率極低，每個單個的符號，數(shù)字，空格，乃至漢字都會占用一個token。可想而知這會非常浪費算力，且使得模型的效果很差。這時候小模型實驗室正好有個自己訓(xùn)的詞表。

姚老師當(dāng)時懷疑是不是模型的tokenizer不好（雖然事后來看，他的懷疑是無疑正確的），于是就決定，讓71B和135B換tokenizer，因為小模型實驗室曾經(jīng)嘗試過。團(tuán)隊縫合了兩個tokenizer，開始了tokenizer的更換。71B模型的更換失敗了，而135B因為采用了更精細(xì)的embedding初始化策略，續(xù)訓(xùn)了至少1T的數(shù)據(jù)后詞表總算更換成功，但可想而知，效果并不會變好。

于此同期，阿里和智譜等國內(nèi)其他公司在GPU上訓(xùn)練，且已經(jīng)摸索出了正確的方法，盤古和競品的差距越來越大。內(nèi)部一個230B從頭訓(xùn)練的dense模型又因為各種原因訓(xùn)練失敗，導(dǎo)致項目的狀況幾乎陷入絕境。面臨幾個節(jié)點的壓力以及內(nèi)部對盤古的強烈質(zhì)疑時，團(tuán)隊的士氣低迷到了極點。團(tuán)隊在算力極其有限的時候，做出了很多努力和掙扎。

比如，團(tuán)隊偶然發(fā)現(xiàn)當(dāng)時的38B moe并沒有預(yù)期moe的效果。于是去掉了moe參數(shù)，還原為了13B的dense模型。由于38B的moe源自很早的pangu alpha 13B，架構(gòu)相對落后，團(tuán)隊進(jìn)行了一系列的操作，比如切換絕對位置編碼到rope，去掉bias，切換為rmsnorm。同時鑒于tokenizer的一些失敗和換詞表的經(jīng)驗，這個模型的詞表也更換為了王云鶴的小模型實驗室7B模型所使用的詞表。

后面這個13B模型進(jìn)行了擴增續(xù)訓(xùn)，變成了第二代38B dense模型（在幾個月內(nèi)這個模型都是主要的盤古中檔位模型），曾經(jīng)具有一定的競爭力。但是，由于更大的135B模型架構(gòu)落后，且更換詞表模型損傷巨大（后續(xù)分析發(fā)現(xiàn)當(dāng)時更換的縫合詞表有更嚴(yán)重的bug），續(xù)訓(xùn)后也與千問等當(dāng)時國內(nèi)領(lǐng)先模型存在很大差距。這時由于內(nèi)部的質(zhì)疑聲和領(lǐng)導(dǎo)的壓力也越來越大。團(tuán)隊的狀態(tài)幾乎陷入了絕境。

在這種情況下，王云鶴和他的小模型實驗室出手了。

他們聲稱是從舊的135B參數(shù)繼承改造而來，通過訓(xùn)練短短的幾百B數(shù)據(jù)，各項指標(biāo)平均提升了十個點左右。實際上，這就是他們套殼應(yīng)用到大模型的第一次杰作。

華為的外行領(lǐng)導(dǎo)內(nèi)行，使得領(lǐng)導(dǎo)完全對于這種扯淡的事情沒有概念，他們只會覺得肯定是有什么算法創(chuàng)新。經(jīng)過內(nèi)部的分析，他們實際上是使用Qwen 1.5 110B續(xù)訓(xùn)而來，通過加層，擴增ffn維度，添加盤古pi論文的一些機制得來，湊夠了大概135B的參數(shù)。

實際上，舊的135B有107層，而這個模型只有82層，各種配置也都不一樣。新的來路不明的135B訓(xùn)練完很多參數(shù)的分布也和Qwen 110B幾乎一模一樣。

連模型代碼的類名當(dāng)時都是Qwen，甚至懶得改名。后續(xù)這個模型就是所謂的135B V2。而這個模型當(dāng)時也提供給了很多下游，甚至包括外部客戶。

這件事對于我們這些認(rèn)真誠實做事的同事們帶來了巨大的沖擊，內(nèi)部很多人其實都知道這件事，甚至包括終端和華為云。我們都戲稱以后別叫盤古模型了，叫千古吧。當(dāng)時團(tuán)隊成員就想向bcg舉報了，畢竟這已經(jīng)是重大的業(yè)務(wù)造假了。

但是后面據(jù)說被領(lǐng)導(dǎo)攔了下來，因為更高級別的領(lǐng)導(dǎo)（比如姚老師，以及可能熊總和查老）其實后面也知道了，但是并不管，因為通過套殼拿出好的結(jié)果，對他們也是有利的。這件事使得當(dāng)時團(tuán)隊幾位最強的同事開始心灰意冷，離職跑路也逐漸成為掛在嘴邊的事。

此時，盤古似乎迎來了轉(zhuǎn)機。由于前面所述的這些盤古模型基本都是續(xù)訓(xùn)和改造而來，當(dāng)時諾亞完全沒有掌握從頭訓(xùn)練的技術(shù)，何況還是在昇騰的NPU上進(jìn)行訓(xùn)練。

在當(dāng)時團(tuán)隊的核心成員的極力爭取下，盤古開始了第三代模型的訓(xùn)練，付出了巨大的努力后，在數(shù)據(jù)架構(gòu)和訓(xùn)練算法方面都與業(yè)界逐漸接軌，而這其中的艱辛和小模型實驗室的人一點關(guān)系都沒有。

一開始團(tuán)隊成員毫無信心，只從一個13B的模型開始訓(xùn)練，但是后面發(fā)現(xiàn)效果還不錯，于是這個模型后續(xù)再次進(jìn)行了一次參數(shù)擴增，變成了第三代的38B，代號38B V3。想必很多產(chǎn)品線的兄弟都對這個模型很熟悉。當(dāng)時這個模型的tokenizer是基于llama的詞表進(jìn)行擴展的（也是業(yè)界常見的做法）。

而當(dāng)時王云鶴的實驗室做出來了另一個詞表（也就是后續(xù)pangu系列的詞表）。當(dāng)時兩個詞表還被迫進(jìn)行了一次賽馬，最終沒有明顯的好壞結(jié)論。于是，領(lǐng)導(dǎo)當(dāng)即決定，應(yīng)該統(tǒng)一詞表，使用王云鶴他們的。于是，在后續(xù)從頭訓(xùn)練的135B V3（也就是對外的Pangu Ultra），便是采用了這個tokenizer。這也解釋了很多使用我們模型的兄弟的疑惑，為什么當(dāng)時同為V3代的兩個不同檔位的模型，會使用不同的tokenizer。

我們打心眼里覺得，135B V3是我們四縱團(tuán)隊當(dāng)時的驕傲。這是第一個真正意義上的，華為全棧自研，正經(jīng)從頭訓(xùn)練的千億級別的模型，且效果與24年同期競品可比的。寫到這里我已經(jīng)熱淚盈眶，太不容易了。

當(dāng)時為了穩(wěn)定訓(xùn)練，團(tuán)隊做了大量實驗對比，并且多次在模型梯度出現(xiàn)異常的時候進(jìn)行及時回退重啟。這個模型真正做到了后面技術(shù)報告所說的訓(xùn)練全程沒有一個loss spike。我們克服了不知道多少困難，我們做到了，我們愿用生命和榮譽保證這個模型訓(xùn)練的真實性。多少個凌晨，我們?yōu)榱怂挠?xùn)練而不眠。在被內(nèi)部心聲罵的一文不值的時候，我們有多么不甘，有多少的委屈，我們挺住了。

我們這幫人是真的在為打磨國產(chǎn)算力底座燃燒自己的青春啊……客居他鄉(xiāng)，我們放棄了家庭，放棄了假期，放棄了健康，放棄了娛樂，拋頭顱灑熱血，其中的艱辛與困苦，寥寥數(shù)筆不足以概括其萬一。在各種動員大會上，當(dāng)時口號中喊出的盤古必勝，華為必勝，我們心里是真的深深被感動。

然而，我們的所有辛苦的成果，經(jīng)常被小模型實驗室輕飄飄的拿走了。數(shù)據(jù)，直接要走。代碼，直接要走，還要求我們配合適配到能一鍵運行。我們當(dāng)時戲稱小模型實驗室為點鼠標(biāo)實驗室。我們付出辛苦，他們?nèi)〉脴s耀。果然應(yīng)了那句話，你在負(fù)重前行是因為有人替你歲月靜好。在這種情況下，越來越多的戰(zhàn)友再也堅持不下去了，選擇了離開。看到身邊那些優(yōu)秀的同事一個個離職，我的內(nèi)心又感嘆又難過。

在這種作戰(zhàn)一樣的環(huán)境下，我們比起同事來說更像是戰(zhàn)友。他們在技術(shù)上也有無數(shù)值得我學(xué)習(xí)的地方，堪稱良師。看到他們?nèi)チ酥T如字節(jié)Seed，Deepseek，月之暗面，騰訊和快手等等很多出色的團(tuán)隊，我打心眼里為他們高興和祝福，脫離了這個辛苦卻骯臟的地方。我至今還對一位離職同事的話記憶猶新，ta說：“來這里是我技術(shù)生涯中的恥辱，在這里再呆每一天都是浪費生命”。

話雖難聽卻讓我無言以對。我擔(dān)心我自己技術(shù)方面的積累不足，以及沒法適應(yīng)互聯(lián)網(wǎng)公司高淘汰的環(huán)境，讓我多次想離職的心始終沒有邁出這一步。

盤古除了dense模型，后續(xù)也啟動了moe的探索。

一開始訓(xùn)練的是一個224B的moe模型。而與之平行的，小模型實驗室也開啟了第二次主要的套殼行動（次要的插曲可能還包括一些別的模型，比如math模型），即這次流傳甚廣的pangu pro moe 72B。這個模型內(nèi)部自稱是從小模型實驗室的7B擴增上來的（就算如此，這也與技術(shù)報告不符，何況是套殼qwen 2.5的14b續(xù)訓(xùn)）。

還記得他們訓(xùn)了沒幾天，內(nèi)部的評測就立刻追上了當(dāng)時的38B V3。AI系統(tǒng)實驗室很多兄弟因為需要適配模型，都知道他們的套殼行動，只是迫于各種原因，無法伸張正義。

實際上，對于后續(xù)訓(xùn)了很久很久的這個模型，Honestagi能夠分析出這個量級的相似性我已經(jīng)很詫異了，因為這個模型為了續(xù)訓(xùn)洗參數(shù)，所付出的算力甚至早就足夠從頭訓(xùn)一個同檔位的模型了。

聽同事說他們?yōu)榱讼吹羟柕乃。扇×瞬簧俎k法，甚至包括故意訓(xùn)了臟數(shù)據(jù)。這也為學(xué)術(shù)界研究模型血緣提供了一個前所未有的特殊模范吧。以后新的血緣方法提出可以拿出來溜溜。

24年底和25年初，在Deepseek v3和r1發(fā)布之后，由于其驚艷的技術(shù)水平，團(tuán)隊受到了巨大的沖擊，也受到了更大的質(zhì)疑。于是為了緊跟潮流，盤古模仿Deepseek的模型尺寸，開啟了718B moe的訓(xùn)練。這個時候，小模型實驗室再次出手了。他們選擇了套殼Deepseekv3續(xù)訓(xùn)。他們通過凍住Deepseek加載的參數(shù)，進(jìn)行訓(xùn)練。連任務(wù)加載ckpt的目錄都是deepseekv3，改都不改，何其囂張？與之相反，一些有真正技術(shù)信仰的同事，在從頭訓(xùn)練另一個718B的moe。但其中出現(xiàn)了各種各樣的問題。但是很顯然，這個模型怎么可能比直接套殼的好呢？如果不是團(tuán)隊leader堅持，早就被叫停了。

華為的流程管理之繁重，嚴(yán)重拖累了大模型的研發(fā)節(jié)奏，例如版本管理，模型血緣，各種流程化，各種可追溯。諷刺的是，小模型實驗室的模型似乎從來不受這些流程的約束，想套殼就套殼，想續(xù)訓(xùn)就續(xù)訓(xùn)，算力源源不斷的伸手拿走。這種強烈到近乎魔幻的對比，說明了當(dāng)前流程管理的情況：只許州官放火，不許百姓點燈。何其可笑？何其可悲？何其可惡？何其可恥！

HonestAGI的事情出來后，內(nèi)部讓大家不停的研討分析，如何公關(guān)和“回應(yīng)”。誠然，這個原文的分析也許不夠有力，給了王云鶴與小模型實驗室他們狡辯和顛倒黑白的機會。為此，這兩天我內(nèi)心感到作嘔，時時懷疑自己的人生意義以及蒼天無眼。我不奉陪了，我要離職了，同時我也在申請從盤古部分技術(shù)報告的作者名單中移除。曾經(jīng)在這些技術(shù)報告上署名是我一生都無法抹除的污點。當(dāng)時我沒想到，他們竟然猖狂到敢開源。我沒想到，他們敢如此愚弄世人，大肆宣發(fā)。當(dāng)時，我也許是存了僥幸心理，沒有拒絕署名。我相信很多扎實做事的戰(zhàn)友，也只是被迫上了賊船，或者不知情。但這件事已經(jīng)無法挽回，我希望我的余生能夠堅持扎實做真正有意義的事，為我當(dāng)時的軟弱和不堅定贖罪。

深夜寫到這里，我已經(jīng)淚流滿面，泣不成聲。還記得一些出色的同事離職時，我苦笑問他們要不要發(fā)個長長的心聲慣例帖，揭露一下現(xiàn)狀。對方說：不了，浪費時間，而且我也怕揭露出來你們過的更糟。我當(dāng)時一下黯然神傷，因為曾經(jīng)共同為了理想奮斗過的戰(zhàn)友已經(jīng)徹底對華為徹底灰心了。當(dāng)時大家調(diào)侃，我們用著當(dāng)年共產(chǎn)黨的小米加步槍，組織卻有著堪比當(dāng)年國民黨的作風(fēng)。

曾幾何時，我為我們用著小米加步槍打敗洋槍洋炮而自豪。

現(xiàn)在，我累了，我想投降。

其實時至今日，我還是真心希望華為能認(rèn)真吸取教訓(xùn)，能做好盤古，把盤古做到世界一流，把昇騰變成英偉達(dá)的水平。內(nèi)部的劣幣驅(qū)逐良幣，使得諾亞乃至華為在短時間內(nèi)急劇流失了大量出色的大模型人才。相信他們也正在如Deepseek等各個團(tuán)隊閃耀著，施展著他們的抱負(fù)才華，為中美在AI的激烈競賽中奉獻(xiàn)力量。我時常感嘆，華為不是沒有人才，而是根本不知道怎么留住人才。如果給這些人合適的環(huán)境，合適的資源，更少的枷鎖，更少的政治斗爭，盤古何愁不成？

最后：我以生命，人格和榮譽發(fā)誓，我寫的以上所有內(nèi)容均為真實（至少在我有限的認(rèn)知范圍內(nèi)）。我沒有那么高的技術(shù)水平以及機會去做詳盡扎實的分析，也不敢直接用內(nèi)部記錄舉證，怕因為信息安全抓到。但是我相信我很多曾經(jīng)的戰(zhàn)友，會為我作證。在華為內(nèi)部的兄弟，包括我們曾經(jīng)服務(wù)過的產(chǎn)品線兄弟們，相信本文的無數(shù)細(xì)節(jié)能和你們的印象對照，印證我的說法。你們可能也曾經(jīng)被蒙騙，但這些殘酷的真相不會被塵封。我們奮戰(zhàn)過的痕跡，也不應(yīng)該被扭曲和埋葬。

寫了這么多，某些人肯定想把我找出來，抹殺掉。公司搞不好也想讓我噤聲乃至追責(zé)。如果真的這樣，我，乃至我的家人的人身乃至生命安全可能都會受到威脅。為了自我保護(hù)，我近期每天會跟大家報平安。

如果我消失了，就當(dāng)是我為了真理和理想，為了華為乃至中國能夠更好地發(fā)展算力和AI而犧牲了吧，我愿埋葬于那片曾經(jīng)奮斗過的地方。

諾亞，再見

2025年7月6日凌晨 寫于深圳