ICML 2026 巡禮：注意力效率革命的九個(gè)切面

從注意力加速到基因組可解釋，一次梳理。

作者丨陸 毅

編輯丨岑 峰

7月7日，機(jī)器學(xué)習(xí)領(lǐng)域最具影響力的頂級(jí)學(xué)術(shù)會(huì)議ICML 2026進(jìn)入正會(huì)第一天。本次大會(huì)共接收6352篇論文，其中Spotlight論文536篇（占投稿總數(shù)的 2.2%），Oral 論文168篇 （僅占投稿總數(shù)的 0.7%）。今年的論文再次匯聚了從生成模型到隱私保護(hù)、從智能體評(píng)估到模型壓縮、從脈沖神經(jīng)網(wǎng)絡(luò)到視覺分詞器的多元前沿探索，在投稿量較去年翻倍、評(píng)審標(biāo)準(zhǔn)經(jīng)歷深刻“重新校準(zhǔn)”的背景下，這些脫穎而出的論文無(wú)疑是本屆會(huì)議最值得關(guān)注的學(xué)術(shù)精華。

雷峰網(wǎng)已派出報(bào)道小組赴首爾COEX會(huì)展中心參會(huì)。在會(huì)議現(xiàn)場(chǎng)，我們從Poster展區(qū)的數(shù)千張學(xué)術(shù)海報(bào)中精選出最具代表性的研究成果，以“一張圖 + 一段解讀”的方式呈現(xiàn)給未能親臨現(xiàn)場(chǎng)的讀者。

這份匯總不僅是一次視覺巡禮，更試圖為你勾勒出本屆ICML的學(xué)術(shù)重心——從大模型可解釋性到AI for Science，從具身智能到理論硬度的回歸，我們希望這些現(xiàn)場(chǎng)捕捉的瞬間，能幫助你快速感知機(jī)器學(xué)習(xí)前沿正在發(fā)生什么。

以下精選首日上午Poster Session 1九篇論文，一文看盡AI研究最值得關(guān)注的方向。（如果你也想讓你的研究成果出現(xiàn)在這里，請(qǐng)與我們聯(lián)系）：

01

MePo：讓預(yù)訓(xùn)練模型學(xué)會(huì)"持續(xù)學(xué)習(xí)"

MePo: Meta Post-Refinement for Rehearsal-Free General Continual Learning

智能系統(tǒng)需要從不斷變化的復(fù)雜環(huán)境中持續(xù)學(xué)習(xí)，這種能力被稱為通用持續(xù)學(xué)習(xí)（GCL）。盡管預(yù)訓(xùn)練模型（PTM）極大推動(dòng)了傳統(tǒng)持續(xù)學(xué)習(xí)的發(fā)展，但在面對(duì)單次數(shù)據(jù)流中多樣且時(shí)序混合的信息時(shí)，現(xiàn)有方法仍難以有效協(xié)調(diào)，導(dǎo)致GCL性能欠佳。

研究團(tuán)隊(duì)從神經(jīng)科學(xué)中的元可塑性和重構(gòu)記憶機(jī)制獲得靈感，提出了MePo（Meta Post-Refinement）。該方法首先從預(yù)訓(xùn)練數(shù)據(jù)中構(gòu)建偽任務(wù)序列，通過雙層元學(xué)習(xí)范式對(duì)預(yù)訓(xùn)練骨干網(wǎng)絡(luò)進(jìn)行"后微調(diào)"，相當(dāng)于一次延長(zhǎng)的預(yù)訓(xùn)練過程，使模型具備對(duì)下游GCL任務(wù)的快速適配能力。此外，MePo還初始化了一個(gè)元協(xié)方差矩陣作為預(yù)訓(xùn)練表示空間的參考幾何，利用二階統(tǒng)計(jì)量實(shí)現(xiàn)魯棒的輸出對(duì)齊。

作為一種即插即用的策略，MePo在無(wú)需重放數(shù)據(jù)的條件下，在CIFAR-100、ImageNet-R和CUB-200等基準(zhǔn)上分別取得了15.10%、13.36%和12.56%的顯著提升，展現(xiàn)出跨多種預(yù)訓(xùn)練檢查點(diǎn)的強(qiáng)大泛化能力。

論文鏈接：https://arxiv.org/abs/2602.07940

02

Hamiltonian Asymmetric Fusion：

模態(tài)不平衡下的"單向安全"融合

Hamiltonian Asymmetric Fusion: One-Way Safe Directed Refinement under Modality Imbalance

多模態(tài)融合通常采用對(duì)稱的token交互方式，隱式地允許信息雙向流動(dòng)。然而，當(dāng)輔助模態(tài)的噪聲遠(yuǎn)大于主模態(tài)時(shí)（即"模態(tài)不平衡"場(chǎng)景），這種對(duì)稱性會(huì)創(chuàng)造一條"回流通道"，將輔助噪聲反向注入主表示，并在迭代精煉階段不斷放大誤差。

研究團(tuán)隊(duì)將這一場(chǎng)景下的融合問題形式化為"具有單向安全性的定向精煉"：主模態(tài)定義引導(dǎo)場(chǎng)，僅對(duì)輔助表示進(jìn)行迭代凈化，同時(shí)嚴(yán)格限制輔助流對(duì)主模態(tài)的擾動(dòng)。基于這一思路，他們提出了哈密頓非對(duì)稱融合（HAF）——一種輕量級(jí)的展開式精煉模塊。HAF通過動(dòng)量正則化和門控驅(qū)動(dòng)更新輔助token，精煉力由基于FFT的頻譜全局相關(guān)性實(shí)例化，并以可學(xué)習(xí)的頻譜響應(yīng)選擇性強(qiáng)調(diào)可靠頻率分量；泄漏動(dòng)量門和穩(wěn)定積分器則保障了多步精煉的穩(wěn)定性。

在理論層面，HAF提供了輔助誤差收縮和主模態(tài)擾動(dòng)有界的數(shù)學(xué)保證，而對(duì)稱融合算子在模態(tài)不平衡條件下無(wú)法滿足這些性質(zhì)。在六個(gè)RGB-D顯著目標(biāo)檢測(cè)基準(zhǔn)上，HAF在受控輔助損壞條件下展現(xiàn)出持續(xù)的性能提升和顯著更優(yōu)的退化表現(xiàn)。

論文鏈接：https://icml.cc/virtual/2026/poster/64876

03

FlashBlock：讓塊擴(kuò)散模型的注意力"學(xué)會(huì)復(fù)用"

FlashBlock: Attention Caching for Efficient Long-Context Block Diffusion

生成分鐘級(jí)視頻和長(zhǎng)文本等長(zhǎng)篇內(nèi)容，對(duì)現(xiàn)代生成模型越來越重要。塊擴(kuò)散（Block Diffusion）通過KV緩存和逐塊因果推斷提升推理效率，已被廣泛應(yīng)用于擴(kuò)散語(yǔ)言模型和視頻生成。但在長(zhǎng)上下文場(chǎng)景下，反復(fù)計(jì)算對(duì)不斷增長(zhǎng)的KV緩存的注意力仍帶來大量開銷。

研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)此前未被充分探索的塊擴(kuò)散特性：跨步驟注意力冗余。分析表明，當(dāng)前塊外部token的注意力輸出在擴(kuò)散步驟間高度穩(wěn)定，而塊內(nèi)注意力則變化顯著?；谶@一觀察，他們提出了FlashBlock——一種緩存塊外部注意力機(jī)制，通過復(fù)用穩(wěn)定的注意力輸出，大幅減少注意力計(jì)算和KV緩存訪問，且不修改擴(kuò)散過程本身。

值得注意的是，F(xiàn)lashBlock與稀疏注意力方法正交，可作為互補(bǔ)的殘差復(fù)用策略組合使用，在激進(jìn)稀疏化下顯著提升模型準(zhǔn)確率。實(shí)驗(yàn)顯示，該方法在擴(kuò)散語(yǔ)言模型和視頻生成中實(shí)現(xiàn)了最高1.44倍的token吞吐量提升和1.6倍的注意力時(shí)間減少，且對(duì)生成質(zhì)量幾乎沒有影響。

論文鏈接：https://openreview.net/forum?id=4jfuNNghPS

04

Stem：從信息流視角重新審視

因果稀疏注意力

Stem: Rethinking Causal Information Flow in Sparse Attention

自注意力機(jī)制的平方復(fù)雜度仍是將大語(yǔ)言模型擴(kuò)展到長(zhǎng)上下文的根本瓶頸，尤其在預(yù)填充階段?，F(xiàn)有稀疏方法通常在每層中對(duì)所有token位置應(yīng)用統(tǒng)一的top-k選擇，但這一策略忽略了因果架構(gòu)中固有的token信息累積依賴性——由于因果約束，初始位置的token參與了每個(gè)后續(xù)token的聚合，它們的信息重要性是逐步累積的。

基于這一分析，研究團(tuán)隊(duì)提出了Stem，一種與信息流對(duì)齊的即插即用稀疏注意力模塊。Stem包含兩個(gè)核心設(shè)計(jì)：Token Position-Decay策略在每層中應(yīng)用位置相關(guān)的top-k選擇，為初始token保留更多注意力預(yù)算以維持遞歸依賴；Output-Aware Metric則基于近似輸出量級(jí)優(yōu)先選擇高影響力token，確保信息豐富的token不被遺漏。

大量評(píng)估表明，Stem在減少計(jì)算量和預(yù)填充延遲的同時(shí)實(shí)現(xiàn)了更優(yōu)的準(zhǔn)確率，為長(zhǎng)上下文場(chǎng)景下的高效注意力提供了新思路。

論文鏈接：https://arxiv.org/abs/2603.06274

05

PBS-Attn：通過Token置換

實(shí)現(xiàn)更稀疏的塊稀疏注意力

Sparser Block-Sparse Attention via Token Permutation

擴(kuò)展大語(yǔ)言模型的上下文長(zhǎng)度帶來顯著收益，但自注意力的O(N2)復(fù)雜度對(duì)內(nèi)存和延遲都是重大瓶頸。塊稀疏注意力將序列分塊并跳過部分塊的計(jì)算，是一種有前景的解決方案。然而，其有效性高度依賴底層的注意力模式——當(dāng)單個(gè)塊內(nèi)查詢所需的重要key token分散在眾多其他塊中時(shí)，塊級(jí)稀疏效果大打折扣，產(chǎn)生大量計(jì)算冗余。

研究團(tuán)隊(duì)注意到注意力機(jī)制具有置換不變性，據(jù)此提出了置換塊稀疏注意力（PBS-Attn）。該方法首先按"全局重要性"對(duì)段內(nèi)的key進(jìn)行重排，將散落各處的重要token聚攏成連續(xù)的高密度塊，再進(jìn)行塊稀疏計(jì)算，從而大幅提升塊級(jí)稀疏率。配合自研的置換FlashAttention內(nèi)核，PBS-Attn在保持精度近乎追平全注意力基線的同時(shí)，實(shí)現(xiàn)了端到端最高2.75倍的長(zhǎng)上下文預(yù)填充加速。

該方法即插即用，在多個(gè)真實(shí)長(zhǎng)上下文數(shù)據(jù)集上持續(xù)優(yōu)于現(xiàn)有塊稀疏注意力方法，證明了置換策略在注意力效率優(yōu)化中的實(shí)用價(jià)值。

論文鏈接：https://arxiv.org/abs/2510.21270

06

TabSwift：輕量級(jí)表格基礎(chǔ)模型的效率之道

TabSwift: An Efficient Tabular Foundation Modelwith Row-Wise Attention

表格基礎(chǔ)模型（如TabPFN）通過上下文學(xué)習(xí)實(shí)現(xiàn)預(yù)測(cè)——直接從標(biāo)注訓(xùn)練樣本推斷測(cè)試標(biāo)簽，在中小規(guī)模數(shù)據(jù)集上表現(xiàn)出色。然而，近期的表格基礎(chǔ)模型為提升精度不斷堆疊復(fù)雜架構(gòu)，推理成本隨之攀升，限制了實(shí)際部署。

研究團(tuán)隊(duì)重新審視了TabPFN的原始設(shè)計(jì)，發(fā)現(xiàn)僅靠輕量級(jí)的行級(jí)注意力骨干網(wǎng)絡(luò)，配合兩項(xiàng)簡(jiǎn)單增強(qiáng)，就能保持高度競(jìng)爭(zhēng)力。第一項(xiàng)是門控注意力穩(wěn)定機(jī)制，用于穩(wěn)定訓(xùn)練過程；第二項(xiàng)是少量可學(xué)習(xí)的注冊(cè)token，提供全局上下文信息并提升預(yù)訓(xùn)練質(zhì)量。最終模型TabSwift同時(shí)支持分類和回歸任務(wù)，在精度上與TabPFN v2、TabICL等更強(qiáng)的表格基礎(chǔ)模型相當(dāng)，但推理效率更高。

此外，針對(duì)延遲敏感的部署場(chǎng)景，TabSwift還引入了自適應(yīng)逐層早退機(jī)制，根據(jù)樣本難度動(dòng)態(tài)調(diào)整推理深度，實(shí)現(xiàn)高效的"隨時(shí)"表格上下文學(xué)習(xí)。

論文鏈接：https://arxiv.org/abs/2606.07345

07

基因組模型的可解釋性：不能只看"成功案例"

Position: Genomic Model Research Must Move Beyond Evaluation of Interpretability Methods

機(jī)器學(xué)習(xí)已充分釋放了人類基因組的預(yù)測(cè)潛力，但生物學(xué)家現(xiàn)在要求模型不僅能預(yù)測(cè)，還要能揭示背后的生物學(xué)機(jī)制。盡管可解釋機(jī)器學(xué)習(xí)（IML）技術(shù)被越來越多地用于彌合這一鴻溝，但研究界普遍存在對(duì)"軼事式驗(yàn)證"的依賴——絕大多數(shù)研究?jī)H使用單一IML方法，且只報(bào)告孤立的成功案例。

通過對(duì)轉(zhuǎn)錄因子結(jié)合的基準(zhǔn)測(cè)試，研究團(tuán)隊(duì)揭示了現(xiàn)有實(shí)踐的三大風(fēng)險(xiǎn)：不同IML方法常對(duì)同一預(yù)測(cè)給出矛盾解釋；無(wú)法準(zhǔn)確定位已知的調(diào)控motif；且不能忠實(shí)反映模型的內(nèi)部決策過程。作者主張建立一個(gè)類似臨床試驗(yàn)的嚴(yán)格驗(yàn)證框架——正如臨床試驗(yàn)需要嚴(yán)謹(jǐn)?shù)脑O(shè)計(jì)和不良事件報(bào)告，基因組可解釋性也必須超越"挑選性合理"的驗(yàn)證方式，走向?qū)σ恢滦浴⒅覍?shí)度和生物學(xué)有效性的系統(tǒng)評(píng)估。

為此，該論文提出了一個(gè)分層框架，用于指導(dǎo)基因組IML方法的嚴(yán)格評(píng)估與報(bào)告，呼吁整個(gè)研究社區(qū)從個(gè)案式驗(yàn)證轉(zhuǎn)向系統(tǒng)化評(píng)估。

論文鏈接：https://arxiv.org/abs/2606.07607

08

EchoAttention：讓長(zhǎng)視頻生成的注意力"學(xué)會(huì)回聲"

EchoAttention: Exploiting Token-Pair Redundancy and Frame-Block Similarity for Efficient Video Generation

基于擴(kuò)散Transformer（DiT）的視頻生成模型發(fā)展迅猛，但長(zhǎng)視頻推理的計(jì)算瓶頸始終制約其實(shí)用化——3D全注意力的二次方復(fù)雜度可占據(jù)整體推理算力的60%至82%?，F(xiàn)有稀疏注意力方法通過剪枝query-key對(duì)來緩解瓶頸，但其效果受限于大量"非稀疏注意力頭"——這些頭無(wú)法被有效稀疏化，導(dǎo)致純稀疏方法存在難以逾越的速度-質(zhì)量天花板。

研究團(tuán)隊(duì)發(fā)現(xiàn)了視頻DiT中一個(gè)此前被忽視的規(guī)律——幀塊相似性：注意力權(quán)重矩陣中同一塊行（或塊列）內(nèi)的各幀塊分布高度相似，差異可由輕量對(duì)角線性標(biāo)定精確刻畫?；诖耍麄兲岢隽薊choAttention雙算子框架：Sparse算子利用token對(duì)冗余處理高稀疏頭，Echo算子利用幀塊相似性處理非稀疏頭，計(jì)算復(fù)雜度從O(n2?2)降至O(n?2)。通過三階段蒸餾學(xué)習(xí)的細(xì)粒度路由策略，模型在去噪時(shí)間步、層和頭三個(gè)維度自動(dòng)選擇最優(yōu)算子。

在公開視頻DiT上，EchoAttention相較于SOTA稀疏注意力基線持續(xù)改善速度-質(zhì)量前沿，端到端延遲最多降低2.42倍，且生成質(zhì)量與全注意力持平。

論文鏈接：https://openreview.net/forum?id=vZZUCDcjSx

09

混合注意力的表達(dá)力層級(jí)：

首次給出理論證明

A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention

為緩解標(biāo)準(zhǔn)全注意力的二次復(fù)雜度，線性注意力、混合注意力等多種高效注意力機(jī)制被相繼提出。然而，一個(gè)基本問題始終懸而未決：這些高效注意力相對(duì)于全注意力的表達(dá)力差異，缺乏嚴(yán)格的理論刻畫。

研究團(tuán)隊(duì)從理論上回答了這一問題。他們聚焦于"序列函數(shù)復(fù)合"這一必須在模型前向傳播中完成的多步推理任務(wù)，建立了一個(gè)表達(dá)力層級(jí)：L+1層全注意力網(wǎng)絡(luò)即可求解該任務(wù)，而任何交替使用L-1層全注意力與遠(yuǎn)更多（2^(3L2)層）線性注意力層的混合網(wǎng)絡(luò)都無(wú)法求解。這一結(jié)論適用于所有可表述為遞歸的線性注意力變體，包括Mamba、DeltaNet等。

這是混合注意力與標(biāo)準(zhǔn)全注意力之間首次被證明的表達(dá)力分離，為理解不同注意力機(jī)制的根本能力與局限提供了理論視角。

論文鏈接：https://arxiv.org/abs/2602.01763

10

結(jié)語(yǔ)

以上9篇論文涵蓋了注意力效率優(yōu)化、持續(xù)學(xué)習(xí)、多模態(tài)融合、表格建模和基因組可解釋性等多個(gè)方向，從不同維度折射出當(dāng)前AI研究的前沿趨勢(shì)。如有遺漏或感興趣的論文，歡迎聯(lián)系我們進(jìn)一步交流。

一個(gè)人讀論文太孤單，一群人刷頂會(huì)才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內(nèi)主打實(shí)時(shí)論文跟蹤與硬核技術(shù)探討，拒絕灌水。

進(jìn)群傳送門：掃碼進(jìn)群或添加微信Vin_Vivid，備注：論文群 + 關(guān)注的 AI 方向。

搞科研/搞技術(shù)，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會(huì)精華

可獨(dú)家暢覽：

專家演講PPT

大會(huì)報(bào)告全文

熱門論文解讀

學(xué)術(shù)新星訪談

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號(hào)名片。