Kimi K3發布，國產Fable 5來了！

編輯｜冷貓、山輝

Kimi 終于投下了我們期待許久的重磅炸彈！

今天一早，Kimi 正式推出了其最新，最強的開源大模型 Kimi K3，是全球首個開源的 3 萬億參數級別模型，支持 1M 上下文，原生支持視覺理解

根據 Kimi 的說法，其「在過去 12 個月中的 9 個月里，都保持著開源模型的規模上限」。

我們知道大模型世界的基本規律：參數大就是強。那么作為首個開源領域達到 3 萬億參數級別的模型，能力到底有多強？

根據權威的大模型競技場 Arena.ai 的最新榜單，Kimi K3 在前端代碼競技場排名第一，遠遠超越了 Claude Fable 5，遙遙領先。

能夠看出，前端代碼能力和美學的理解是 Kimi K3 發力的方向。Kimi 在發布 K3 時放出的小短片，充分展示了模型在前端、三維模型、視覺圖像和交互設計方面的超強實力。

視頻鏈接：https://mp.weixin.qq.com/s/9HK7C33VUg_UhFfz93M-yw

而在整體智能表現上，根據 Artificial Analysis 的數據，K3 在人工智能分析指數中取得了 57 分的成績，雖說與全球榜一的閉源模型 Fable 5 的 60 分和 GPT-5.6 Sol 的 59 分相比稍顯遜色，但也已經實現了遠超業內其他大模型的智能水平，在開源領域依舊保持強勢領先地位。

開放的 3T 級模型

2.8T 的參數規模對模型架構和訓練系統提出了多重要求，包括降低超長序列的注意力成本、改善深層網絡的信息傳遞、維持高稀疏度 MoE 的路由均衡等等。

根據 Kimi 發布的技術博客，Kimi K3 的主要技術組成包括 Kimi Delta Attention（KDA）、Attention Residuals（AttnRes）、Stable LatentMoE，以及面向低精度訓練與大規模專家并行設計的基礎設施。

• 技術博客鏈接：https://www.kimi.com/blog/kimi-k3

KDA 主要解決注意力機制在長序列下的擴展效率問題。AttnRes 則會選擇性地檢索分布在不同深度的表示，而不是將這些表示統一累積。二者共同構成 Kimi K3 的架構主干，使模型能夠有效擴展至遠超萬億參數的規模。

Kimi K3 采用 的Stable LatentMoE，將模型總參數擴展至 2.8 萬億，但每次計算只從 896 個專家中激活 16 個。

這種高稀疏度設計可以在控制單次計算量的同時擴大模型容量，但也對專家路由和負載均衡提出了更高要求。為此，Kimi 引入Quantile Balancing，根據路由得分的分位數直接完成專家分配，減少對啟發式更新和敏感均衡超參數的依賴。

從監督微調階段開始，Kimi K3 就引入了量化感知訓練，采用 MXFP4 權重和 MXFP8 激活，以適配更廣泛的低精度硬件。

此外，Kimi 團隊提出了Per-Head Muon方法，將 Muon 優化器擴展為針對每個注意力頭獨立優化，從而在超大規模訓練中實現更加靈活的學習過程。

同時，Sigmoid Tanh Unit（SiTU）Gated MLA 分別增強了激活控制能力和注意力選擇能力。上述技術共同支持了 Kimi K3 在 2.8 萬億參數規模下實現穩定、高效的訓練。

按照 Kimi 的說法，這些架構與工程改進共同使 K3 的整體規模擴展效率達到 Kimi K2 的約 2.5 倍。因此，Kimi K3 的關鍵就在于，為如此龐大的模型配套了一整套讓它能夠穩定訓練和實際部署的技術方案。

實驗結果

雖然其整體性能仍然落后于最強大的專有模型 Claude Fable 5 和 GPT 5.6 Sol，但 Kimi K3 在評估套件中表現出了前沿水平的性能，始終優于其他受測模型。

在實際使用中，性能分數與開銷的性價比是非常重要的參考標準。Kimi K3 在性價比上也能保持相當優秀的水平。

Kimi K3 推進了端到端知識工作。除了公開的基準測試結果外，Kimi K3 (max) 在 Kimi 內部的評估中也展現出持續的性能提升，這些提升源于在真實用戶代理工作流程中觀察到的反復出現的模式和挑戰。這些在不同的生產導向型工作流程中持續存在的優勢，反映了 Kimi K3 代理知識工作能力的全面提升。

Kimi 在 K3 發布時引用了這么一段話：「犯其至難而圖其至遠者，發之以勇，守之以專，達之以強」。

「至難」對應超長上下文、超深網絡和超大規模專家并行等技術前沿的推進，「至遠」則指向開放前沿智能這一長期目標。以此，Kimi 實現了開源領域「至強」的成績。

目前，Kimi K3 已經開放使用。當前默認思考強度為 Max ，后續更新后會增加 low 和 high 兩種模式，感興趣的讀者可以著手體驗了。