獨家內(nèi)幕：美團如何用5萬張國產(chǎn)卡訓(xùn)出“龍貓”萬億級模型？

智東西
作者 李水青
編輯 漠影

智東西7月2日報道，最近幾個月，一個名為“Owl Alpha”的神秘模型持續(xù)霸榜OpenRouter。它調(diào)用量長期位居全球前三，在Hermes、Claude Code和OpenClaw幾大Agent模型中分別位列第一、第二和第三，不少開發(fā)者將其稱為今年最令人意外的一匹“黑馬”。

▲Owl Alpha位列OpenRouter中Hermes調(diào)用模型第一

直到6月30日，這個神秘模型才揭開面紗：它是美團最新發(fā)布的LongCat-2.0（龍貓2.0），一個總參數(shù)量1.6萬億、每token激活約480億參數(shù)的MoE大語言模型。

從官方基準(zhǔn)測試和智東西實測反饋來看，LongCat-2.0在原生Agent能力、編程以及適配主流編程工具方面，已經(jīng)能夠接近全球第一梯隊水平。并且受益于Cache（緩存）命中免費的策略，Token plan包的Tokens消耗速度遠低于同尺寸模型。

相比榜單成績，更值得關(guān)注的是，LongCat-2.0是國內(nèi)首個完全依靠國產(chǎn)算力完成訓(xùn)練與推理全流程的萬億參數(shù)模型，峰值訓(xùn)練規(guī)模超過5萬張國產(chǎn)算力卡，是迄今為止國產(chǎn)算力平臺上規(guī)模最大的訓(xùn)練任務(wù)。

過去幾年，行業(yè)一直在追問：國產(chǎn)算力究竟能不能支撐世界級大模型訓(xùn)練？LongCat團隊給出的答案是肯定的。

近日，智東西結(jié)合多位接近項目人士、產(chǎn)業(yè)信源以及相關(guān)技術(shù)資料，試圖還原這場持續(xù)三年的國產(chǎn)算力實驗。

一、三年前，一群人做了一個“頭鐵”的決定

把時間撥回2023年初，ChatGPT發(fā)布后國內(nèi)AI團隊瘋狂搶購算力，A100一卡難求，GPU供給進入極度緊缺狀態(tài)。

侯龍（化名）在美團龍貓團隊長期負(fù)責(zé)訓(xùn)練相關(guān)工作，從0到1參與了LongCat-2.0的誕生。

據(jù)他透露，2023年上半年，團隊內(nèi)部開始認(rèn)真討論一個方向：能不能用國產(chǎn)算力做大模型訓(xùn)練？這個想法最初只是“隨口一提”，但后來越想越覺得并非不可能。

彼時，國產(chǎn)算力生態(tài)尚不成熟，工具鏈薄弱，成功案例稀缺。行業(yè)的普遍共識是“國產(chǎn)卡只能做推理”。但LongCat團隊不這么看。

“大模型訓(xùn)練不是玄學(xué)，也不是黑盒，它只是一個復(fù)雜度極高的科學(xué)系統(tǒng)工程。”一位知情人士也向智東西表示。龍貓內(nèi)部分析是：大模型算子個數(shù)相對有限，適配工作量比想象中更聚焦。CUDA生態(tài)的壁壘建立在通用性和豐富性上，但如果目標(biāo)收斂到大模型訓(xùn)練，這個壁壘并沒有看上去那么不可逾越。只要硬件精度沒有問題，就不存在原理上講不通的障礙。

當(dāng)時，這個團隊的成員主要是做過一些搜廣推、CV、語音類小模型的訓(xùn)練，并沒有訓(xùn)練大模型的經(jīng)驗，但在機器學(xué)習(xí)Infra領(lǐng)域已有長足的積累。”上述人士稱。

團隊將判斷向上溝通后，快速得到了公司明確支持。最終決定：從基座模型建設(shè)伊始就同步布局國產(chǎn)算力。用侯龍的話說，“團隊從上到下沒有一個人說‘行不通、我不用’，大家都是建設(shè)性地想辦法，看怎么能把這個事做成。”

“我們還是挺頭鐵的。”在侯龍看來，“行業(yè)認(rèn)為不可能的事，反而是一次證明自己的機會。”

二、2560卡到5萬卡，一場不斷踩坑的工程長征

LongCat并不是一開始就站在5萬卡的規(guī)模上。

據(jù)侯龍介紹，團隊的國產(chǎn)算力訓(xùn)練經(jīng)歷了清晰的漸進擴容路徑：2023年7月，其正式啟動國產(chǎn)算力適配，與算力廠商建立周會機制和高頻技術(shù)交流；9月，團隊成建制投入驗證適配工作，從單算子驗證到端到端打通，一步一步推進。

第一個關(guān)鍵里程碑出現(xiàn)在2024年春節(jié)前后。團隊將端到端訓(xùn)練跑通，第一個Loss數(shù)值出來，和主流芯片結(jié)果非常接近。那一刻，工程上基本確認(rèn)這條路走得通。用侯龍的原話：“那個時候，包括工程、算法在內(nèi)的所有人，對國產(chǎn)算力能不能做訓(xùn)練已經(jīng)沒有懷疑了，剩下的無非是性能和性價比的問題。”

第二個里程碑是2024年7月。一個超過16000卡的國產(chǎn)算力集群交付給團隊。拿到集群那天，大家本來說搞到12點就回家，但總覺得還能再往前走一步，“一不小心就到了早上四五點鐘，夏天天亮得早，我還拍了一張日出的照片。”另一位親歷者回憶道。不過那天晚上并沒有真正跑通，真正的端到端跑起來是在一周之后。作業(yè)正常跑起來的那一刻，幾個同學(xué)還興奮地合影留念。

從千卡到萬卡再到5萬卡，每跨越一個數(shù)量級，都會遭遇完全意想不到的問題。

“萬卡集群第一次啟動時，調(diào)度系統(tǒng)根本起不來。”上述親歷者透露，“整個作業(yè)的內(nèi)存總和超過了整數(shù)的上限，系統(tǒng)直接顯示不出來。”這是基礎(chǔ)設(shè)施層面從未遇到過的場景，整個系統(tǒng)最初的設(shè)計壓根不是為了這個量級的作業(yè)準(zhǔn)備的。

還有一類更隱秘的問題。到了幾萬卡的規(guī)模，團隊發(fā)現(xiàn)了“比特翻轉(zhuǎn)”，硬件在計算過程中，電路可能隨機出現(xiàn)比特翻轉(zhuǎn)，導(dǎo)致數(shù)值計算錯誤。它不是穩(wěn)定必現(xiàn)的，也很難歸因為硬件制造缺陷，本質(zhì)上是一個物理規(guī)律：當(dāng)規(guī)模足夠大，再低的概率都會暴露出來。小規(guī)模訓(xùn)練時根本不知道有這個東西存在，直到某個萬卡級別訓(xùn)練過程中，出現(xiàn)了數(shù)值對不齊的問題，深入追查后才意識到是比特翻轉(zhuǎn)導(dǎo)致的。團隊后來去翻行業(yè)里的技術(shù)報告，發(fā)現(xiàn)只有Google的論文里提過一小段，其他廠商幾乎沒有公開討論過這個問題。

穩(wěn)定性是首要面對的硬骨頭。大模型訓(xùn)練是同步訓(xùn)練，這意味著所有卡必須同時正常工作、步調(diào)一致。一張卡出問題，整個作業(yè)就會掛掉。幾萬張卡同時不出問題的概率，會隨規(guī)模增加呈指數(shù)級下降。

團隊的做法是兩條腿走路：一是每次故障都堅持找到根本原因，硬件故障也好、軟件bug也好、參數(shù)配置問題也好，逐一歸因并做針對性修復(fù)；二是不指望不出問題，而是追求出了問題之后能快速發(fā)現(xiàn)、快速恢復(fù)。最終，團隊建立了一整套自動感知和恢復(fù)機制，整個容錯過程不需要人工介入。

圍繞穩(wěn)定性、正確性和效率三條主線，團隊重新構(gòu)建了一套超大規(guī)模訓(xùn)練體系。據(jù)技術(shù)資料顯示，通過自動重調(diào)度和容錯恢復(fù)，訓(xùn)練穩(wěn)定性超過92%，月均日故障率相比最初降低了70%；通過確定性算子實現(xiàn)Bitwise一致性訓(xùn)練；通過ScMoE架構(gòu)和Zero Bubble Pipeline等優(yōu)化，將硬件浮點計算利用率提升了超5成。

5萬卡級別的訓(xùn)練，真正的挑戰(zhàn)從來不是算力堆砌，而是系統(tǒng)工程。

三、國產(chǎn)算力沒有成熟生態(tài)，就自己重寫一套基礎(chǔ)設(shè)施

在國產(chǎn)算力平臺上做5萬卡規(guī)模的訓(xùn)練，意味著幾乎無法依賴現(xiàn)成的軟件生態(tài)。

據(jù)一位曾參與國產(chǎn)算力訓(xùn)練萬億規(guī)模模型工作的業(yè)內(nèi)人士介紹，隨著訓(xùn)練規(guī)模持續(xù)擴大，需要重寫的其實遠不止幾個算子，而是整套基礎(chǔ)設(shè)施。“可以說，從核心算子、通信框架到調(diào)度系統(tǒng)、訓(xùn)練工具鏈，LongCat團隊?wèi)?yīng)該是在國產(chǎn)硬件之上重新搭建了一遍大模型軟件棧。”

對此，侯龍也給予了正面回應(yīng)，一個典型的例子是算子開發(fā)。在成熟生態(tài)上，一個算子可能一到兩周就能完成；但在國產(chǎn)算力平臺上，最初需要一個月以上。“同樣的算子，開發(fā)周期差了好幾倍，非常痛苦。”侯龍回憶。包括編程模型、調(diào)試工具在內(nèi)的整個開發(fā)體驗，早期都不太好用。

但團隊沒有等，而是在關(guān)鍵算子上選擇自研。比如FlashAttention反向梯度算子，當(dāng)時國產(chǎn)平臺上有一個“確定性”實現(xiàn)，但為了做到計算順序固定，退化成單核順序執(zhí)行，耗時比非確定性版本慢了20到70倍，在生產(chǎn)環(huán)境中幾乎不可用。LongCat團隊在國產(chǎn)芯片上自研了高性能的確定性算子，最終將性能損失控制在5%左右，既保住了確定性，又沒犧牲效率。同樣的自研還發(fā)生在Scatter類算子上，原有實現(xiàn)效率極低，團隊重新設(shè)計了確定性并行算法，將性能提升了數(shù)十倍。

這些底層算子的自研，最終使“整網(wǎng)確定性訓(xùn)練”成為可能，每一步的計算結(jié)果都能精確復(fù)現(xiàn)，任何一次異常都能被快速定位。在國產(chǎn)芯片工具鏈尚不完善的階段，這是排障的剛需。

不過，國產(chǎn)算力的軟件生態(tài)演進速度很快。據(jù)另一位知情人士透露，到了現(xiàn)在，雖然硬件架構(gòu)不同導(dǎo)致編程范式有差異，但開發(fā)效率和調(diào)試體驗已經(jīng)沒有特別顯著的區(qū)別。“尤其是Agent Coding出現(xiàn)后，一些相對簡單的算子可以用AI輔助生成，生態(tài)壁壘確實比之前低了很多。”

更令人意外的是精度層面的發(fā)現(xiàn)。該人士透露，團隊以CPU的FP64精度為基準(zhǔn)標(biāo)桿，對同一計算邏輯在不同芯片上做了對比實測，發(fā)現(xiàn)國產(chǎn)算力在部分核心算子上的計算誤差甚至低于主流芯片。“大家天然認(rèn)為國產(chǎn)算力誤差更大，但實測結(jié)果恰恰相反。”該人士表示。

從硬件架構(gòu)上也能找到解釋：國產(chǎn)芯片在累加位寬上做得更寬，能保證更高的累加精度。但更值得注意的是一種行業(yè)心態(tài)，長期以來，行業(yè)默認(rèn)把主流芯片的計算結(jié)果作為標(biāo)準(zhǔn)答案，但這并不意味著它就是精度最高的，只是大家習(xí)慣了拿它來做參照。LongCat團隊的實測表明，只要計算正確性得到保證，國產(chǎn)芯片并不存在不可跨越的技術(shù)鴻溝。

四、模型能力實測，LongCat-2.0驗證了什么？

LongCat-2.0的意義，并不局限于完成了一次國產(chǎn)算力訓(xùn)練。國產(chǎn)算力訓(xùn)出來的模型，在真實能力上同樣經(jīng)得起檢驗。

正如前文提到，在匿名上線OpenRouter期間，LongCat-2.0獲得了全球開發(fā)者社區(qū)的廣泛驗證。同時，其在6月30日公布的綜合評測顯示，LongCat-2.0在編程和通用Agent兩大場景中均表現(xiàn)優(yōu)異。

編程方面，LongCat-2.0在SWE-bench Pro得分59.5，雖然還不及SOTA模型Claude 4.8和4.7，但已超過Gemini 3.1 Pro（54.2）；在SWE-bench Multilingual取得77.3，與Claude Opus 4.6（77.8）接近持平；在Terminal-Bench 2.1真實終端指令交互評測中取得70.8，展現(xiàn)出穩(wěn)定的執(zhí)行與糾錯能力。

辦公場景方面，LongCat-2.0在搜索智能體評測集RWSearch得分78.8，生產(chǎn)力場景FORTE得分73.2，BrowseComp得分79.9，三項均達到或接近前沿閉源模型水平，驗證了多步驟任務(wù)規(guī)劃、復(fù)雜工具調(diào)用及長程檢索執(zhí)行上的可靠性。

▲LongCat-2.0的測評成績

根據(jù)美團官方案例，LongCat-2.0在AI SQL Agent搭建、代碼庫遷移、兒童AI游戲訓(xùn)練場應(yīng)用開發(fā)、3D交互演示、AI小說工廠等真實工作場景任務(wù)中都能較好完成任務(wù)。

▲基于LongCat-2.0的數(shù)據(jù)分析智能體（源自：美團）

而智東西在Hermes中實測LongCat-2.0后發(fā)現(xiàn)，該模型在邏輯推理上表現(xiàn)較好，同時在編程任務(wù)上能夠有較高完成度，且與Agent協(xié)同下能實現(xiàn)相對復(fù)雜的編程任務(wù)。最關(guān)鍵的是，受Cache（緩存）命中免費的策略影響，其Tokens消耗速度遠低于同尺寸模型。

具體來看，當(dāng)我要求LongCat-2.0生成一個可交互的macOS桌面頁面，它不僅能夠生成一個十分相似的頁面視圖，還能生成可以點擊的真實可用圖標(biāo)，比如點擊文件、計算器、便箋等都能夠進入對應(yīng)的頁面。其生成的計算器可以準(zhǔn)確地算數(shù)，不過文檔應(yīng)用缺少保存選項。

▲LongCat-2.0生成的可交互macOS

當(dāng)我要求LongCat-2.0在Hermes上實現(xiàn)一個類似 Google Docs 的協(xié)同編輯系統(tǒng)，LongCat-2.0能夠比較順暢的完成，展現(xiàn)出可靠的編程及Agent能力。關(guān)鍵Token消耗速度只是其他競品模型的五成，收費默認(rèn)打“五折”就很好評。

▲LongCat-2.0生成的類Google Docs協(xié)同編輯系統(tǒng)

綜合來看，LongCat-2.0已經(jīng)接近全球第一梯隊Agent模型能力。而更重要的是，這些能力是百分之百在國產(chǎn)算力上訓(xùn)練出來的，從而讓這場持續(xù)三年的國產(chǎn)算力實驗，擁有了更強的說服力。

五、萬億參數(shù)模型背后：國產(chǎn)算力正在跨過一道門檻

LongCat-2.0的發(fā)布，真正驗證了什么？

“我們2024年就驗證了國產(chǎn)算力用于前沿訓(xùn)練完全可行，只是到今天才把結(jié)論明確講出來。”一位參與項目的前龍貓成員向智東西稱。

在他看來，LongCat驗證的不只是一個模型，而是一整套國產(chǎn)大模型工程體系。從千卡到5萬卡的漸進擴容路徑、從算子重寫到確定性計算的軟件棧建設(shè)、從超節(jié)點性能一致性到比特翻轉(zhuǎn)的故障應(yīng)對，這些經(jīng)驗積累下來，已經(jīng)形成了一套可復(fù)用的方法論。

在國產(chǎn)算力時代，模型架構(gòu)需要重新思考。“模型架構(gòu)不是算法說了算，也不是工程說了算，是算法和工程Co-Design（聯(lián)合設(shè)計）的結(jié)果。”該成員強調(diào)，模型需要針對國產(chǎn)硬件的顯存大小、通信性能等特點做針對性設(shè)計。

比如，LongCat-2.0提出了ScMoE、零計算專家等原創(chuàng)設(shè)計，這些創(chuàng)新不僅為了追求模型能力，還是在“適配國產(chǎn)硬件”。

ScMoE通過Shortcut連接讓Dense FFN路徑與MoE通信并行，理論推理延遲可降低約50%。零計算專家機制每層配置128個零專家與768個FFN專家共同路由——零專家不計算，直接返回輸入，使激活參數(shù)量在330億到560億間動態(tài)變化，LongCat-2.0是業(yè)界首個實現(xiàn)此機制的大規(guī)模MoE模型。N-gram Embedding將embedding空間擴展約100倍，在代碼生成、指令理解等任務(wù)上表現(xiàn)更穩(wěn)定。

推理層面，龍貓團隊針對國產(chǎn)算力顯存與帶寬受限的特點，采用大Expert Parallelism聚合訪存帶寬，通過上下文并行容納百萬級長上下文。算子層面實現(xiàn)精細(xì)控核、SuperKernel內(nèi)聯(lián)優(yōu)化，將相鄰算子的啟動開銷與計算重疊，端到端帶來約8%的TPOT提升，極限TPOT（推理延遲）已接近行業(yè)主流水平。

把時間拉長到未來三到五年，國產(chǎn)AI基礎(chǔ)設(shè)施最需要補齊的短板是什么？侯龍認(rèn)為，工藝制程仍然是硬約束。單顆芯片的參數(shù)與國際頂尖水平仍有差距，這是客觀現(xiàn)實。但通過系統(tǒng)集成可以彌補單芯片的不足，硬件廠商已經(jīng)在做大量工作。

“這不是一個不可跨越的障礙。”侯龍表示。國產(chǎn)算力要真正坐穩(wěn)全球第一梯隊，關(guān)鍵在于算法、基礎(chǔ)設(shè)施、芯片三者的協(xié)同設(shè)計。以LongCat-2.0的經(jīng)驗來看，這條路已經(jīng)被證明走得通。

結(jié)語：未來AI競爭，將是一場系統(tǒng)級全棧競爭

LongCat-2.0的出現(xiàn)，標(biāo)志著國產(chǎn)算力在大模型訓(xùn)練領(lǐng)域邁過了一道關(guān)鍵門檻，從“能不能”進入“好不好”的階段。

從2023年7月啟動國產(chǎn)算力適配，到2024年春節(jié)端到端跑通，到2025年年中Flash版本發(fā)布時在技術(shù)報告里用“accelerator”而非“GPU”的隱晦表達，再到本周明確宣布“百分之百國產(chǎn)算力訓(xùn)練”，這背后是一條持續(xù)三年的技術(shù)演進路徑。

當(dāng)國產(chǎn)算力開始承載萬億參數(shù)級MoE模型的全流程訓(xùn)練和推理，這件事的意義已經(jīng)超出了單一公司或單一模型，而是有望沉淀成整個國產(chǎn)AI基礎(chǔ)設(shè)施的公共能力。未來AI競爭的重心，正在從單點突破走向系統(tǒng)級全棧能力的比拼。