深度｜馬斯克點贊、Karpathy銳評、推理之父驚呼，Kimi 新架構直接炸出半個硅谷AI 圈

圖片來源：AI生成

很少有一篇純底層的技術報告，能在發布瞬間直接“炸出”硅谷半個 AI 圈。

昨晚，Kimi 團隊發布了重磅技術報告《Attention Residuals》。這項研究試圖用一種動態的、依賴輸入的注意力機制，徹底取代大模型中沿用了十年的標準殘差遞歸。

簡單來說，它讓模型不再只是機械地堆疊層數，而是學會了在深度維度上進行“內容感知”的選擇。這一大膽的挑戰讓一眾硅谷頂流大佬紛紛開啟點贊模式。

OpenAI 聯合創始人 Andrej Karpathy 這么評價：“看來我們還沒把‘Attention is All You Need’這句話按字面意思理解透。”

一向不會輕易對具體技術論文做這種公開表態的馬斯克，也在評論區留下一句：“Impressive work from Kimi.”

甚至有AI從業者公開評價，上一次中國實驗室發布這樣的成果，是DeepSeek讓英偉達一天蒸發6000億美金。

論文鏈接：https://github.com/MoonshotAI/Attention-Residuals/blob/master/Attention_Residuals.pdf

這項研究集結了月之暗面數十名研究員的智慧。對項目貢獻最突出的三位研究員分別是陳光宇、Yu Zhang（Kimi-Linear 一作）以及 Jianlin Su。

更有意思的是，論文的一作陳光宇是一名年僅 18 歲、加入團隊僅 5 個月的準高三學生。

深度的陷阱

在深度學習的世界里，殘差連接自 2015 年誕生以來，一直被視為神經網絡邁向深層的默認配置。它像一條梯度高速公路，讓梯度能夠繞過復雜的變換直接傳導，從而解決了深層網絡難以訓練的難題 。

但在大語言模型步入數百層的今天，這種被奉為圭臬的標準結構正悄然陷入一種“深度的陷阱” 。

目前的殘差結構本質上是固定權重的線性累加，這意味著每一層輸出都以完全相同的分量強行擠進主干路徑 。這種“一視同仁”的堆疊方式，缺乏一種靈活的選擇機制。它無法根據當前的輸入內容決定哪些層的信息更關鍵，就像在讀一本厚書時每一頁的權重都完全一樣，讀到最后你可能已經忘了開頭最重要的伏筆 。

Kimi 團隊指出，這種信息流動的僵化不僅限制了模型的有效深度，還導致了一個嚴重的問題：信息稀釋 。

在現代 LLM 普遍采用的 PreNorm 范式下，殘差連接導致隱藏狀態的范數會隨著深度呈線性增長 。想象一下，當你把上百層網絡的輸出簡單地疊加在一起，主干路徑會變得越來越“臃腫”，每一層對最終結果的影響力被逐層攤薄 。早期層辛苦提取的基礎特征被掩沒在后續層的海量輸出中，甚至導致深度增加后的收益遞減 。

這種不受控的增長還強迫深層網絡必須學習產生越來越大的輸出，才能在已經巨大的殘差流中獲得一點點“發言權”，這不僅增加了訓練的不穩定性，也造成了參數的極大浪費 。實證研究發現，在這種結構下，模型中相當比例的層甚至可以被直接修剪掉而不影響性能，這說明目前的殘差機制并沒有讓每一層都發揮出應有的潛力 。

圖 b 中，藍色曲線代表的基準模型顯示，隨著 Transformer 塊索引的增加，輸出范數幾乎呈現指數級的飛躍增長 。這意味著越往后的層，由于之前的累加量已經巨大，為了能夠產生影響，它被迫輸出極其巨大的數值 。 圖 c 揭示了固定權重累加帶來的另一個弊端 - 梯度分布極度不均 。在基準模型中，梯度主要集中在最開始的幾層，深層的梯度非常微弱且分布不穩 。這種失衡意味著靠近輸入的層在被過度訓練，而深層則在“劃水” 。

由于殘差連接將所有先前的層信息壓縮進一個單一的狀態，模型無法實現對早期信息的選擇性檢索 。這種不可逆的信息流失，使得模型在處理需要長程依賴或多步推理的復雜任務時，往往力不從心 。

Kimi 團隊的這一洞察，不僅是對現狀的批判，更是為后續 AttnRes 的登場鋪平了道路。我們需要的不是更厚的堆疊，而是更聰明的選擇 。

AttnRes 的降維打擊

為了打破這種僵局，Kimi 團隊提出了 Attention Residuals（簡稱 AttnRes）。

這場變革的靈感源于序列建模與網絡深度之間的形式對偶性。既然 Transformer 能夠通過注意力機制取代循環神經網絡（RNN）在序列維度上的僵化遞歸，那么在深度維度上，我們也理應可以用注意力來取代固定的殘差累加。

AttnRes 的核心邏輯在于將每一層原本被動的線性接收轉變為主動的內容感知檢索，通過將深度軸轉化為一個可供檢索的特征空間，讓模型能夠像查閱字典一樣，根據當前的輸入內容精確調取之前的關鍵表征 。

在具體實現上，Kimi 團隊引入了一個極其輕量的“導航大腦”——層專屬偽查詢向量 。每一層不再是盲目接收前序總和，而是帶著這個學習到的向量去掃描之前所有層的輸出 。通過計算相似度，模型會生成一套 Softmax 注意力權重 。為了防止某些幅度異常的層主導整個注意力分布，架構中還加入了 RMSNorm 歸一化 。

為了將概念推向工業級應用，團隊研發了分塊注意力殘差（Block AttnRes） 。全量注意力雖好，但其平方級的開銷在大規模訓練中極其昂貴 。通過將數百層網絡劃分為若干個塊，模型在塊內維持低成本的基礎累加，僅在塊間進行精細的注意力聚合 。這一改進直接將顯存復雜度降至塊數量級別 。實測發現，僅需約 8 個塊就能找回全量版絕大部分的性能增益，實現了性能與效率的完美平衡 。

在工程落地層面，這套架構配合了精妙的兩階段計算策略 。由于查詢向量是層特定的且獨立于實時輸入，模型可以在進入每個塊時，批量計算出該塊內所有層對歷史塊的關注權重 。這種設計將零散的讀取整合為高效的批處理，極大地攤薄了內存訪問成本 。最終，這種從底層互聯方式上的徹底重構，讓端到端的推理延遲開銷控制在2% 以內，幾乎做到了“性能暴增，成本微增” 。

圖中的 block_attn_res 函數展示了如何利用一個學習到的權重矩陣并行地處理歷史表征，而 forward 部分則展示了模型如何維護一個“塊歷史記錄”，在保證邏輯嚴密的同時，將顯存占用維持在極低水平 。

任何理論的優雅最終都要在算力的火海中接受毒打。Kimi 團隊在包含 480 億參數（30 億激活參數）的 Kimi Linear 架構上，利用 1.4 萬億 Token 的實測結果證明，AttnRes 絕非實驗室里的花拳繡腿 。

最令技術圈振奮的是它對Scaling Law的重塑 。實驗數據顯示，在同等損失水平下，AttnRes 展示出了極高的“算力杠桿”：它僅需基準模型約 80% 的算力即可達到同樣的效果 ，意味著它自帶 1.25 倍的算力優勢。這一提升在不同的模型規模下均保持一致，打破了傳統架構在極深尺度下的效率天花板 。

這種“深度進化”最終轉化為了一份驚艷的下游任務成績單。在衡量知識深度的GPQA-Diamond任務上，新架構直接拉升了7.5 分；而在數學競賽級的Minerva Math和代碼生成的HumanEval任務中，也分別實現了3.6 分和3.1 分的顯著飛躍。即便是通用理解領域的 MMLU (+1.1) 或中文能力測試 C-Eval (+2.9)，也展現出全面打平或超越基準模型的統治力 。

除了分數，AttnRes 還從底層治愈了模型的“健康”問題 。它通過限制每一層的輸出幅度增長，并讓梯度分布更加均勻，確保了從第一層到最后一層都在同步進化，而不是在深度的稀釋中“劃水” 。

深色的對角線代表模型依然尊重層級的局部流動，而散落在背景中的亮點，則證明模型學會了跨越數十層去“翻閱”之前的知識 。特別是第一層嵌入信息在后續每一層中都有留存，證明了 AttnRes 能夠讓最初的靈感穿透重重阻礙，直達決策層 。

AttnRes 的出現，或許標志著大模型架構演進正在經歷一次“回溯式”的爆發。隨著計算硬件對內存帶寬瓶頸的進一步突破，這種深度維度的“全量檢索”將徹底重構我們對 Scaling Law 的傳統認知。

自 2015 年 ResNet 問世以來，殘差連接就被當作神經網絡的“默認配置”，整整十年幾乎無人質疑。而 Kimi 團隊卻選擇回到地基，去撬動那個十年未變的底層范式。

這是一個明確的行業信號：大模型的架構競爭已經從表層的模塊優化，正式深入到了最底層的“毛細血管”。這種底層范式的松動，其意義遠比單純的跑分提升更為深遠。

正如前 OpenAI 核心研究員、被譽為“推理模型之父”的 Jerry Tworek 在看到這項研究后所給出的評價：“一切都需要被重新思考，深度學習 2.0 要來了。”

當殘差連接不再是死板的加法，大模型的靈魂才真正從深度的束縛中解脫出來。在這場通往 AGI 的長跑中，單純地堆疊規模已成過去式，如何更聰明地“調度深度”，或許才是決定誰能率先觸達終點的勝負手。

加入ZF討論群，請先添加小助手微信

我們相信認知能夠跨越階層，

致力于為年輕人提供高質量的科技和財經內容。

稿件經采用可獲邀進入Z Finance內部社群，優秀者將成為簽約作者，00后更有機會成為Z Finance的早期共創成員。

我們正在招募新一期的實習生