LeCun 兩連推！LeJEPA 核心作者最新論文，改寫 JEPA 表征坍塌困局

0 “外掛”、1/10 數(shù)據(jù)，硬剛 7 大標(biāo)桿級自監(jiān)督學(xué)習(xí)算法

作者丨幸麗娟

編輯丨馬曉寧

社交平臺 X 上，一項(xiàng)名叫 VISReg 的研究工作，獲得圖靈獎得主 Yann LeCun 兩連推。

能讓 LeCun 如此高調(diào)背書的 VISReg，究竟做對了什么？

答案很簡單：它精準(zhǔn)命中LeCun 全力押注的 JEPA 世界模型的核心痛點(diǎn)——表征坍塌。

更難得的是，VISReg 不靠啟發(fā)式“外掛”，也不依賴海量數(shù)據(jù)，就在 15 個數(shù)據(jù)集上，綜合表現(xiàn)力壓 7 大主流自監(jiān)督學(xué)習(xí)算法。

這篇論文的作者團(tuán)隊(duì)，也跟LeCun頗有淵源。

二作Randall Balestriero 現(xiàn)任 Brown University計(jì)算機(jī)科學(xué)系的助理教授，曾在Meta的FAIR實(shí)驗(yàn)室擔(dān)任博士后研究員，合作導(dǎo)師正是Yann LeCun，也是LeCun團(tuán)隊(duì)此前LeJEPA工作的核心作者之一。

Randall Balestriero 照片

另外兩位作者Haiyu Wu（一作）、Morgan Levine（三作）則來自 Altos Labs，這是一家由亞馬遜創(chuàng)始人貝索斯等巨頭投資的生物技術(shù)公司，專注于細(xì)胞重編程與衰老研究。

Haiyu Wu Github個人主頁

01

嵌入表征坍塌這個“老大難”問題

JEPA 世界模型的底層技術(shù)，是 LeCun 早在 2017 年就力推的自監(jiān)督學(xué)習(xí)。

這一學(xué)習(xí)范式，曾憑借“去標(biāo)注化”為通用 AI 開啟了無限可能。

以前訓(xùn)練AI，就像老師給一堆題目，每道題都要配標(biāo)準(zhǔn)答案（人工標(biāo)注），費(fèi)時費(fèi)力還燒錢。

自監(jiān)督學(xué)習(xí)不一樣：AI自己從海量數(shù)據(jù)里"找規(guī)律"學(xué)習(xí)，就像學(xué)生自己看書悟出道理，不需要每道題都有標(biāo)準(zhǔn)答案。

但這個學(xué)習(xí)過程，有個棘手的問題：嵌入表征坍塌。

什么意思？AI學(xué)到最后學(xué)會“偷懶”了——不管輸入什么東西，它都輸出"差不多一樣"的答案。就像學(xué)生考試，不管什么題都填"C"，看似交卷了，其實(shí)啥也沒學(xué)會。

為了防止這種坍塌，研究者們想了很多辦法。

比較經(jīng)典的一個解決方案，就是 LeCun 團(tuán)隊(duì)自己提出來的VICReg（Variance-Invariance-Covariance Regularization）。把學(xué)習(xí)目標(biāo)拆成三項(xiàng)——方差項(xiàng)、不變性項(xiàng)、協(xié)方差項(xiàng)。用協(xié)方差來限制各個維度"不要太相關(guān)"。

但問題在于：協(xié)方差只看了"兩兩之間的關(guān)系"，就像你只知道班級的平均分和方差，卻不知道分?jǐn)?shù)具體分布——兩個班級可以均分方差完全一樣，但一個全是60-80分，一個全是 0 分和 100 分，天差地別。協(xié)方差看不出來這種差別。

后來，LeCun團(tuán)隊(duì)又提出了另一個方法SIGReg（Sketched Isotropic Gaussian Regularization），它基于 Cramér-Wold 定理，通過素描（Sketching） 技術(shù)，直接把整個嵌入分布對齊到一個標(biāo)準(zhǔn)高斯分布。這相當(dāng)于不僅知道班級的均值和方差，還能確保分?jǐn)?shù)分布的形狀和正態(tài)分布完全一致。

但 SIGReg 也存在兩個硬傷：

1.梯度消失陷阱：當(dāng)嵌入開始坍塌時，SIGReg 的梯度會持續(xù)衰減，坍塌越嚴(yán)重，修正信號越微弱，模型徹底失去自救能力，訓(xùn)練直接卡死；

2.“尺度”與“形狀”耦合：沒有分離特征 “幅度大小（尺度）” 和 “分布形態(tài)（形狀）” 兩個獨(dú)立屬性，這相當(dāng)于同時調(diào)整音量大小和音色，互相干擾，在長尾、低質(zhì)量、低秩數(shù)據(jù)集上適配性極差。

02

VISReg 做了什么？

VISReg 對VICReg、SIGReg 進(jìn)行“揚(yáng)長避短”，具體的創(chuàng)新在于：

把尺度、形狀完全解耦，保留VICReg的方差項(xiàng)來控制尺度（確保每個維度的標(biāo)準(zhǔn)差趨近于1），但用基于切片Wasserstein距離（SWD）的 Sketching Objective 替代協(xié)方差項(xiàng)，來控制形狀。

這個設(shè)計(jì)主要體現(xiàn)在三個精妙之處：

▎第一，尺度與形狀解耦。

VISReg通過停止梯度（stop-gradient） 把尺度優(yōu)化和形狀優(yōu)化分離開，互不干擾。就像把音量旋鈕和音色旋鈕分開，調(diào)音量不影響音色，調(diào)音色不影響音量。

▎第二，基于SWD的素描目標(biāo)（Sketching Objective），比協(xié)方差更有表達(dá)力。

協(xié)方差只能控制“兩兩維度之間是否相關(guān)”，而SWD能強(qiáng)制所有投影方向上的完整邊緣分布都符合高斯形狀。

可以這樣理解：協(xié)方差只檢查“每一對同學(xué)的關(guān)系是否正常”，而SWD檢查“全班在任何一個角度投影過去的分布形狀是否合理”——后者要嚴(yán)格得多。

這種方法有個數(shù)學(xué)上的Cramér-Wold定理撐腰：高維分布的等價性，可以通過檢查所有一維隨機(jī)投影來判斷。這意味著SWD約束的是完整分布形狀，而非僅僅二階矩。

▎第三，坍塌時反而更強(qiáng)。

這是最狠的一點(diǎn)：當(dāng)模型表征已經(jīng)"塌"了，VISReg的梯度信號反而更強(qiáng)，修正力度更大，能把模型拽回來。

為了證明這一點(diǎn)，論文還進(jìn)行了模擬實(shí)驗(yàn)：讓特征范數(shù)逐漸減小模擬坍縮，測各方法的梯度強(qiáng)度。VISReg在坍縮最嚴(yán)重時梯度最大，SIGReg梯度趨近零——一個"越危險(xiǎn)越使勁救"，一個"越危險(xiǎn)越躺平"。

當(dāng)下熱門的 JEPA 世界模型賽道，長期懸而未決的表征坍塌痛點(diǎn)，迎來了突破性的正則化解法。

此外，在計(jì)算復(fù)雜度、算力成本，VISReg 均實(shí)現(xiàn)顯著升級：

▎復(fù)雜度較 VICReg 大幅降低

VICReg 協(xié)方差計(jì)算復(fù)雜度為O(N D2)，其中 D 為嵌入維度，維度越高算力爆炸；VISReg 復(fù)雜度為 O(N D K)（N 為 Batch大小，D 為嵌入維度，K 為切片數(shù)量），屬于線性復(fù)雜度，與VICReg的高維算力差距極大。

▎速度、內(nèi)存優(yōu)于 SIGReg

同等Batch規(guī)模下，VISReg 單 H100 GPU 的運(yùn)行速度、顯存占用全面優(yōu)于SIGReg；分布式多卡訓(xùn)練時，切片任務(wù)可均勻分?jǐn)傊撩繌堬@卡，K 切片數(shù)量可固定不變，無需隨模型、Batch放大同步增加算力。

最后在準(zhǔn)確度和訓(xùn)練穩(wěn)定性上，VISReg也更優(yōu)于VICReg、 SIGReg，尤其是在低質(zhì)量數(shù)據(jù)集（ImageNet-LT、Galaxy10）上優(yōu)勢顯著。

03

VISReg 到底多強(qiáng)？

研究團(tuán)隊(duì)在 15個數(shù)據(jù)集（8個 In-Domain 域內(nèi)數(shù)據(jù)集+6個 OOD 域外數(shù)據(jù)集 + 1個 用于稠密實(shí)例預(yù)測的 ADE20K 數(shù)據(jù)集）上做了測試，涵蓋天文Galaxy、醫(yī)療（胸片ChestXRay、眼底 Retina、器官 OrganA）、航拍遙感 AID、花卉Flowers等場景，跟7個標(biāo)桿級別的自監(jiān)督學(xué)習(xí)算法（MoCoV3、DINO、I-JEPA、MAE等）硬剛。

▎In-Domain 數(shù)據(jù)集：不用"外掛"也能打

為讓對比更加公平，實(shí)驗(yàn)把算法分為兩大組別：帶“外掛”組(w/heuristics)和無“外掛”組 (w/o heuristics)。

在無啟發(fā)式“外掛”組，VISReg 表現(xiàn)領(lǐng)先：

• 同規(guī)模下（ViT-B/16）：VISReg 域內(nèi)線性精度達(dá) 75.7%，顯著超越 MAE（75.1%）；

• 升級規(guī)模后（ViT-L/14）：VISReg 進(jìn)一步提升至 77.0%，高于 LeJEPA（75.6%）。

值得強(qiáng)調(diào)的是，VISReg 沒有用師生網(wǎng)絡(luò)、EMA、特殊蒸餾這些常見的“煉丹技巧”，純靠基礎(chǔ)訓(xùn)練就把性能拉滿了。

跟那些帶有啟發(fā)式"外掛"的算法（iBOT、DINO）比，VISReg在常規(guī)任務(wù)上只差了一點(diǎn)點(diǎn)。但一到考驗(yàn)真本事的紋理數(shù)據(jù)集（DTD）上，VISReg直接反超所有帶外掛的算法。

這一結(jié)果直接表明VISReg的跨域泛化能力是天生優(yōu)勢，而非依賴人工技巧堆砌。

▎OOD 數(shù)據(jù)集：斷層領(lǐng)先

OOD 測試數(shù)據(jù)集覆蓋醫(yī)療（胸片ChestXRay、眼底 Retina、器官 OrganA）、天文 Galaxy10、航拍遙感 AID、紋理 DTD，全部和 ImageNet 訓(xùn)練域完全無關(guān)。

這就好比：學(xué)生在學(xué)校學(xué)的是“貓、狗、汽車”，考試考的卻是“X光片和星空圖”——這才是檢驗(yàn)真本事的黃金標(biāo)準(zhǔn)。

無啟發(fā)式“外掛”下： ViT-B/16 的VISReg 平均 OOD 精度70.19%，ViT-L/14 達(dá)到70.63%，大幅甩開 MAE（67.85%），同時高于大部分帶“外掛”的經(jīng)典算法（MoCoV3 69.46%、DINO 69.56%、I-JEPA 68.55%）。

在Retina、OrganA等數(shù)據(jù)集優(yōu)勢尤為突出，這也證明VISReg的表征能學(xué)到通用底層視覺規(guī)律（線條、形狀、紋理），而非死記 ImageNet 的自然物體特征。

▎數(shù)據(jù)效率：10 倍碾壓 DINOv2

行業(yè)標(biāo)桿DINOv2用了1.42億張圖訓(xùn)練（LVD142M），VISReg只用了它的十分之一（ImageNet-22K）。

結(jié)果呢？

VISReg 精度 72.94%，DINOv2 72.93%——甚至還高了0.01%。

VISReg的學(xué)習(xí)效率是DINOv2的10倍！ 這正好印證了JEPA世界模型路線的核心目標(biāo)：花小錢辦大事。

▎下游遷移學(xué)習(xí)：微調(diào)能力優(yōu)于 DINO，表征適配性更強(qiáng)

在CIFAR10、CIFAR100、Flowers、ImageNet1K、Galaxy10五套數(shù)據(jù)集上做微調(diào)測試，VISReg的精度全部高于DINO。

這也說明VISReg學(xué)出來的"知識表征"分布更均勻、冗余更低、可塑性更強(qiáng)——不是死記硬背，后續(xù)接任何任務(wù)上限都更高。

▎稠密實(shí)例預(yù)測任務(wù)：表現(xiàn)穩(wěn)健

在完全不使用任何啟發(fā)式“外掛”的前提下，VISReg 在ADE20K上的稠密分割效果僅次于 MoCoV3，遠(yuǎn)優(yōu)于 DINO、MAE、data2vec。

論文也坦誠：分割這塊離頂尖還有差距，后續(xù)會重點(diǎn)優(yōu)化。

▎圖像生成：不僅能當(dāng)‘尖子生’，還能當(dāng)‘創(chuàng)作教練’

最后，團(tuán)隊(duì)還讓VISReg和DINO分別當(dāng)"教練"，去指導(dǎo)同一個畫圖AI（SiT-B/2），完成 10 萬步輕量化訓(xùn)練。

四個評分指標(biāo)中有三個，VISReg 指導(dǎo)出來的畫圖 AI 都優(yōu)于 DINO 指導(dǎo)的。

說明VISReg提取的特征不僅能做識別，還能當(dāng)生成模型的"好教練"，幫它加速訓(xùn)練。

總的看下來，VISReg用更樸素的方法（不用外掛）、更少的數(shù)據(jù)（十分之一）、更穩(wěn)的訓(xùn)練（越坍縮越自救），在圖像識別、分割、生成加速三個維度上都達(dá)到了頂尖或接近頂尖的水平。

這也難怪，這項(xiàng)工作能戳中LeCun的心尖~

Paper 鏈接:

https://arxiv.org/pdf/2606.02572Project

鏈接: https://haiyuwu.github.io/visreg/GitHub

鏈接: https://github.com/HaiyuWu/visreg

上車，帶你看遍全球 AI 頂會精華

可獨(dú)家暢覽：

專家演講PPT

大會報(bào)告全文

熱門論文解讀

學(xué)術(shù)新星訪談

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。