GAIR Paper 106｜追蹤視覺(jué) Token 的演化軌跡，實(shí)現(xiàn)無(wú)損壓縮與 60% 推理加速｜CVPR 2026

從“誰(shuí)被關(guān)注”到“誰(shuí)在變化”，重新定義Token的重要性。

作者丨李傲 中國(guó)人民大學(xué)

編輯丨陳淑瑜

近年來(lái)，以LLaVA、Qwen系列為代表的大視覺(jué)語(yǔ)言模型（LVLM）推動(dòng)了多模態(tài)智能的發(fā)展，在視覺(jué)理解與推理任務(wù)中展現(xiàn)不錯(cuò)的表現(xiàn)。然而，其伴隨著高昂的推理成本。面對(duì)高分辨率圖像或者視頻時(shí)，模型往往需要處理大量視覺(jué)Token，而這些Token會(huì)在整個(gè)推理過(guò)程中持續(xù)參與計(jì)算，成為制約模型效率的重要瓶頸。因此，如何識(shí)別并保留真正重要的視覺(jué)Token，在盡可能不影響性能的前提下降低計(jì)算開(kāi)銷，已成為當(dāng)前多模態(tài)大模型研究的重要課題。

來(lái)自山東大學(xué)，MBZUAI的研究團(tuán)隊(duì)提出了TransPrune：從演化的視角衡量視覺(jué)Token的重要性，在保持整體性能無(wú)損的同時(shí)，將推理成本降低60%。

論文arxiv鏈接：https://arxiv.org/abs/2507.20630

代碼：https://github.com/liaolea/TransPrune

01

重要的Token不僅是“被關(guān)注的”，還是“持續(xù)演化”的

現(xiàn)有Token Pruning方法大多依賴Attention Score或Token Similarity來(lái)衡量視覺(jué)Token的重要性，但這些方法在實(shí)際使用中都存在一定局限性。

基于Attention的方法通常假設(shè)“被關(guān)注得多的Token就更重要”，然而Attention本身存在位置偏差 (Attention Sink)，使得一些與語(yǔ)義無(wú)關(guān)的Token也可能獲得較高的注意力權(quán)重，從而影響重要性判斷的準(zhǔn)確性。

基于Token Similarity的方法則主要從冗余性角度出發(fā)，通過(guò)衡量Token之間的相似程度來(lái)進(jìn)行融合，但這類方法往往忽略了具體任務(wù)指令的影響，難以針對(duì)不同問(wèn)題動(dòng)態(tài)調(diào)整Token的重要性分配。

論文發(fā)現(xiàn)，除了依賴某一層的Attention分?jǐn)?shù)來(lái)判斷Token的重要性，還可以觀察Token在整個(gè)前向傳播過(guò)程中的“變化軌跡”。當(dāng)一個(gè)視覺(jué)Token承載更重要的語(yǔ)義信息時(shí)，它在傳播中往往會(huì)經(jīng)歷更顯著的表征變化。重要Token并不是靜態(tài)存在的，而是在模型內(nèi)部持續(xù)發(fā)生“演化”。

基于這一觀察，論文將這種變化定義為T(mén)oken Transition，并從兩個(gè)維度對(duì)其進(jìn)行量化：一方面是Magnitude Change，即Token向量L2范數(shù)的變化，重要語(yǔ)義Token通常會(huì)表現(xiàn)出更明顯的幅值變化；另一方面是Direction Change，即Token表示方向的偏移，通過(guò)輸入與輸出表示之間的余弦相似度進(jìn)行衡量。

實(shí)驗(yàn)結(jié)果表明，真正重要的Token往往同時(shí)具有更大的Magnitude變化和更顯著的Direction變化，且這一現(xiàn)象在LLM的中間層尤為突出。

02

TransPrune: 基于Token演化的漸進(jìn)式Token壓縮方法

TransPrune整體方法由兩個(gè)互補(bǔ)模塊構(gòu)成：Token Transition Variation（TTV）與Instruction-Guided Attention（IGA），分別從“Token自身在網(wǎng)絡(luò)中的演化軌跡”和“任務(wù)語(yǔ)義對(duì)Token的顯式約束”兩個(gè)角度衡量視覺(jué)Token的重要性。

TTV作為核心評(píng)分機(jī)制，在模型前向傳播過(guò)程中持續(xù)跟蹤每個(gè)視覺(jué)Token在不同層之間的表示變化，并將這種變化量化為統(tǒng)一的重要性得分，實(shí)現(xiàn)對(duì)Token“動(dòng)態(tài)重要性”的估計(jì)。

單層的TTV往往具有較強(qiáng)噪聲，容易受到局部波動(dòng)或特定層結(jié)構(gòu)的影響，導(dǎo)致重要性判斷不穩(wěn)定。相比之下，如果觀察Token在多個(gè)層中的持續(xù)變化趨勢(shì)，就可以更可靠地捕捉其“長(zhǎng)期語(yǔ)義貢獻(xiàn)”。因此，論文對(duì)TTV引入了跨層累積機(jī)制來(lái)獲得更加穩(wěn)定Token的重要性估計(jì)。

然而，僅依靠TTV無(wú)法對(duì)齊具體問(wèn)題指令的需求。為此，方法進(jìn)一步引入IGA模塊，通過(guò)利用文本指令與視覺(jué)Token之間的注意力關(guān)聯(lián)，顯式建模當(dāng)前問(wèn)題對(duì)不同視覺(jué)區(qū)域的關(guān)注程度，從而為T(mén)oken篩選提供任務(wù)層面的約束與引導(dǎo)。

03

實(shí)驗(yàn)結(jié)果：對(duì)比現(xiàn)有within-LLM的裁剪方法領(lǐng)先

論文對(duì)比了現(xiàn)有的within-LLM的方法，證明TransPrune在較低的TFLOPs的情況下仍然取得了性能的領(lǐng)先。

論文還探索了TransPrune與projector-based壓縮方法的組合效果。當(dāng)將其與VisionZip等方法結(jié)合使用時(shí)，在額外減少約三分之一計(jì)算量的情況下，模型性能僅出現(xiàn)極小幅度下降，表明Token Transition所刻畫(huà)的“動(dòng)態(tài)重要性”與現(xiàn)有projector-based壓縮范式具有良好的互補(bǔ)性，不僅可以獨(dú)立發(fā)揮作用，還能夠作為插件式模塊嵌入到其他高效推理框架中，從而進(jìn)一步提升整體計(jì)算效率。

04

結(jié)語(yǔ)

通過(guò)發(fā)現(xiàn)并量化Token Transition這一現(xiàn)象，論文發(fā)現(xiàn)了一個(gè)全新的視覺(jué)Token重要性的衡量角度：不再僅僅取決于它在某一層中“被關(guān)注的程度”，還體現(xiàn)在它在整個(gè)網(wǎng)絡(luò)傳播過(guò)程中“持續(xù)演化的強(qiáng)度”。

基于這一觀察，論文提出了TransPrune剪枝框架，在多個(gè)主流視覺(jué)語(yǔ)言模型上實(shí)現(xiàn)了顯著的推理加速，并保持了優(yōu)異的性能表現(xiàn)。

這項(xiàng)工作不僅能夠?yàn)楦咝б曈X(jué)語(yǔ)言模型研究提供新的解決方案，也能夠啟發(fā)研究者從動(dòng)態(tài)表征演化的角度重新理解Transformer中的信息流動(dòng)過(guò)程，為未來(lái)的多模態(tài)模型高效推理帶來(lái)更多可能性。

上車，帶你看遍全球 AI 頂會(huì)精華

可獨(dú)家暢覽：

專家演講PPT

大會(huì)報(bào)告全文

熱門(mén)論文解讀

學(xué)術(shù)新星訪談

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。