給Transformer變個形，LLM竟能變得更聰明

編輯｜Panda

2026 年 6 月，大模型行業正在經歷一場前所未有的「開源海嘯」：英偉達放出了 550B 參數的混合架構模型，谷歌送出多模態的 Gemma 新版本，智譜用最寬松的協議全量開源了自家旗艦模型。

幾乎所有廠商講述的，都是同一個故事：用混合專家（MoE）結構裝下更多參數，用更稀疏的激活方式壓低成本，用彈性的網絡寬度去匹配不同的部署場景。

換句話說，整個行業正在拼命研究「怎么把更多的參數，塞進同樣的算力預算里」。

但一篇來自 Mila、康奈爾大學和蒙特利爾大學研究者的新論文，提出了一個幾乎相反方向的問題：如果一個參數都不多加，只是把模型里已經存在的參數「挪個位置」，會發生什么？

• 論文標題：Tapered Language Models
• 論文地址：https://arxiv.org/abs/2606.23670

背景：被忽視的「一視同仁」

從 2017 年那篇開創 Transformer 的論文《Attention Is All You Need》開始，幾乎所有的語言模型都共享同一種骨架，不管是經典 Transformer，還是后來的門控注意力、循環記憶網絡，甚至是帶「測試時記憶」能力的新架構，即：把若干結構完全相同的「層」疊在一起，每一層分到的參數量都一模一樣。

這就像一家連鎖餐廳，無論開在鬧市區還是郊區，都配備完全相同數量的廚師和廚房設備，完全不考慮客流量的差異。這種「一視同仁」的分配方式，省心、好維護，但未必是最優解。

近年來，越來越多的研究從不同角度指出：模型的層并不是同等重要的。

• 「提前退出」實驗顯示，很多時候模型在還沒跑到最后一層時，答案已經基本定型；
• 「層剪枝」研究發現，砍掉后面的一些層，模型表現幾乎不受影響；
• 可解釋性研究則發現，淺層網絡捕捉的是語法這類「基礎信息」，深層網絡處理的才是語義這類「高級信息」。

換句話說，層與層之間天差地別，但參數分配卻始終一視同仁。

這正是論文提出的核心疑問：既然層的重要性早已被證明是不均勻的，為什么層的「腦容量」還要被均勻分配？

把「腦容量」往前挪

研究團隊先做了一個簡單粗暴的驗證實驗：把一個 440M 參數的 Transformer 模型的層分成早、中、晚三組，在保持總參數量不變的前提下，讓其中一組的「前饋網絡」（FFN，模型中負責存儲和處理信息的核心組件，可以理解為每一層的「工作記憶容量」）變寬，其余兩組變窄。

結果非常清楚：把容量集中到前段的「頭重腳輕」式分配，讓模型在驗證集上的困惑度（perplexity，衡量語言模型預測準確程度的指標，數值越低代表模型預測得越準）從 16.28 降到 15.96；而反過來把容量集中到后段，困惑度反而飆升到 17.29。

同樣的參數總量，僅僅因為擺放位置不同，效果差出了一個多點，這在語言模型的評測體系里是相當大的差距。

這個發現把問題指向了更細的方向：與其用「一刀切」的三段式分組，能不能用一條更平滑的曲線，讓容量從前到后逐漸遞減？

研究者將這種思路命名為「錐形語言模型」（Tapered Language Models， TLMs）：選定模型中任何一個決定參數量的維度（比如前饋網絡的寬度），讓它沿著深度方向單調遞減，同時保證所有層的平均寬度依然等于原來的固定值。

這樣總參數量和計算量都完全不變，只是分布形狀從「長方形」變成了「楔形」。

團隊嘗試了三種遞減曲線：線性遞減、余弦遞減、S 形（Sigmoid）遞減。

這三種曲線的差異，類似于三種不同的「收攤」方式：

• 線性遞減像是勻速關店，每一段時間關掉差不多數量的柱臺；
• S 形遞減像是突然集中宣布閉店，大部分攤位維持原樣，只有中間一小段急速收縮；
• 余弦遞減則介于兩者之間，兩頭平緩過渡，中段逐漸收緊，既不會「一刀切」地損失兩端的靈活性，也不會平均用力而錯過最該收縮的地方。

實驗結果：免費的 1.84 個點

在 440M 參數的 Transformer 上做完五種寬度比例和三種曲線的組合掃描后，余弦遞減以全面優勢勝出：在最優配置下（前段寬度是基準的 1.5 倍，后段是基準的 0.5 倍），困惑度從均勻分布基線的 16.28 降到了 14.44，整整改善了 1.84 個點，且全程沒有增加一個參數或一次額外的浮點運算。

更關鍵的是，這個結論不是某一個架構的運氣。

研究團隊把同一套配置（余弦遞減、前后寬度比 1.5/0.5）原封不動地搬到另外三種結構迥異的架構上：帶門控機制的注意力模型、具備「自我修改記憶」能力的 Hope-attention，以及擁有神經長期記憶模塊的 Titans 架構，并在 760M 和 1.3B 參數兩個更大規模上重新驗證。

結果是：四種架構、兩種規模，所有八組對比中，經過「錐形化」改造的模型在常識推理基準上的平均準確率全部提升，在 LAMBADA 語言預測任務上的困惑度全部改善。

研究者還額外做了長文本檢索測試（Needle-in-a-Haystack），確認這種重新分配并不會犧牲模型處理長上下文的能力。

為了解釋這種現象背后的原因，團隊還測量了 GPT-2 系列模型中每一層「前饋網絡」輸出與已有信息流的相似程度，發現一個清晰的規律：越往模型深處走，每一層新寫入的內容，跟已經存在的信息越像。也就是說，后段的層更多是在「重復強調」已有的判斷，而不是在「創造」新的理解。

這恰好印證了為什么把容量從后段挪到前段是合理的:前段的層真正用得上這些額外的「腦容量」，后段的層用不上。

結語

這項研究本質上提出了一個樸素卻被長期忽視的命題：模型的容量不該是均勻潑灑出去的資源，而應該流向真正需要它的地方。

在整個行業都在比拼「誰的參數更多」「誰的架構更稀疏」的 2026 年，這篇論文提供了一個幾乎零成本的替代方案：不需要換架構，不需要加參數，只需要換一種分配的「形狀」。

研究者也坦言，目前的最優配置是在一個 440M 參數模型上調出來的，是否存在更適合不同規模、不同架構的「專屬配方」，仍是開放問題。

但更值得關注的是，論文指出這套思路并不局限于語言模型——視覺 Transformer、擴散模型、多模態模型，幾乎都繼承了同一種「層層均分」的默認設定。如果容量分配的形狀本身就是一個被長期忽視的設計維度，那么這把「藏在明處的免費杠桿」，或許才剛剛被人注意到。

團隊簡介

論文由 Mila（蒙特利爾學習算法研究所）的 Reza Bayat、康奈爾大學的 Ali Behrouz，以及 Mila 聯合創始人、蒙特利爾大學教授 Aaron Courville 共同完成。

Ali Behrouz 目前是 Google Research 的研究員、康奈爾大學博士生，過去兩年里參與設計了多個引發廣泛關注的新架構，包括能夠「在測試階段學習記憶」的 Titans 架構，以及后續的 Atlas 和「嵌套學習」（Nested Learning）框架，長期專注于如何讓模型更高效地利用和存儲長期上下文信息。

Aaron Courville 則是深度學習領域的資深學者，CIFAR AI Chair，長期與 Yoshua Bengio 共同推動深度學習基礎研究，在表征學習和生成模型方向有深厚積累。他也是生成對抗網絡（GAN）的作者之一，并與 Ian Goodfellow 和 Bengio 合著了經典著作《Deep Learning》。