6月30日,美團正式發布新一代基礎大模型LongCat-2.0。這是業界首個依靠國產算力完成訓練、推理全流程的萬億參數大模型。
據悉,LongCat-2.0采用MoE架構,總參數規模1.6萬億,每個Token激活參數約480億,原生支持1M超長上下文,可一次處理百萬字級輸入。模型深度適配Claude Code、OpenClaw、Hermes等主流 Harness,在Coding任務上有很強的表現。
OpenRouter總調用量全球居前,性能接近Claude Opus 4.6
今年4月底,美團曾發布LongCat-2.0-Preview版本,并以匿名的方式,接入全球最大的大模型API路由平臺OpenRouter。
OpenRouter數據顯示,截至6月底,LongCat-2.0-Preview的總調用量已躋身全球前三。
在Hermes、Claude Code、OpenClaw等Agent場景下,LongCat-2.0-Preview的月調用量分列全球第一、第二和第三位。其在Claude Code的月調用量,僅次于Claude Opus 4.8,是最受全球開發者歡迎的免費模型之一。
社區反饋顯示,在工具調用、復雜指令執行等 Agent 核心能力方面,LongCat-2.0-Preview接近Claude Opus 4.6,落后于最新的Claude Opus 4.8。在國產大模型中,LongCat-2.0-Preview位列頂尖梯隊。
相關技術報告顯示,LongCat-2.0引入ScMoE跨層快捷連接架構、零計算專家機制、Ngram Embedding增強等多項原創設計。其中,零計算專家機制可實現Token級動態計算預算,讓復雜Token激活更多專家,簡單Token節省算力,該機制為業界首創。
訓練、推理全程依靠國產算力,近期將開源核心技術
作為首個“全國產”萬億參數大模型,LongCat-2.0全程在國產算力上完成訓練,峰值規模超過5萬張國產算力卡,是迄今為止國產算力上完成的最大訓練任務。
據悉,2023年起,美團就與國產算力廠商共同推進“模芯協同”研發,從早期的小規模驗證到超大規模穩定訓練,逐步攻克了萬卡級容錯恢復、NPU確定性計算、算力利用率提升等核心難題,驗證了大規模國產訓練的可行性。
LongCat-2.0的實踐表明,目前國產算力卡雖然落后于全球頂尖水平,但計算正確性和精度已足夠滿足需求,甚至局部略優,已經可以支撐前沿模型的全流程訓練。對于激活存量國產芯片而言,這是一個重要突破。
據悉,由于算力優化、技術突破等綜合因素,LongCat-2.0的訓練、推理成本消耗,低于全球其他萬億參數級別的大模型。
對此,LongCat官方宣布,將于近期在多平臺同步開源Infra 框架、推理引擎、模型參數等核心技術,以回饋全球開發者社區。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.