ICML 2026 | 突破極限！港大提出首個適配300+任務的持續(xù)學習架構(gòu)，破解遺忘難題

本文第一作者為香港大學計算與數(shù)據(jù)科學學院博士生婁蒙。

人類可以在一生中持續(xù)學習新知識，而不會輕易遺忘已有技能。然而對 AI 模型而言，這恰恰是一道極具挑戰(zhàn)性的難題：每當模型學習新任務時，參數(shù)更新往往會覆蓋歷史知識，產(chǎn)生經(jīng)典的 “災難性遺忘” 難題。持續(xù)學習（Continual Learning）正是為突破這一瓶頸而生的研究方向。

其中，類增量學習（Class-Incremental Learning, CIL）是一項極具挑戰(zhàn)性的持續(xù)學習問題：模型需要持續(xù)學習新類別，同時保持對歷史類別的準確識別能力。近年來，借助大規(guī)模預訓練模型（Pre-trained Model, PTM）的豐富先驗知識，CIL 取得了長足進步。然而，現(xiàn)有方法大多只在極短的任務序列上進行驗證，例如5-20個任務。一旦任務數(shù)量擴展至上百個，性能就會顯著下滑甚至崩潰。真實世界中，一個長期運行的系統(tǒng)往往需要不斷地學習新知識新概念，這一鴻溝亟待填補。

近日，來自香港大學的研究團隊提出了一種全新的持續(xù)學習范式CaRE(ScalableContinual Learner with efficient Bi-LevelRouting Mixture-of-Experts)，首次將連續(xù)學習成功擴展到包含300 個以上非重疊任務的超長序列，并在性能上大幅超越了現(xiàn)有的基線算法。此外，團隊還精心構(gòu)建了一個極具挑戰(zhàn)性的超長序列評測數(shù)據(jù)集OmniBenchmark-1K。代碼和數(shù)據(jù)已經(jīng)全部開源！

• 論文標題：Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts
  
• 論文鏈接：https://arxiv.org/abs/2602.03473
  
• 代碼 & 數(shù)據(jù)鏈接：https://github.com/LMMMEng/CaRE
  

研究動機

近年來，基于參數(shù)高效微調(diào)和預訓練模型的持續(xù)學習方法取得了明顯進展 。然而，這些方法仍然存在幾個核心問題：

• 缺乏多任務知識互補： 隨著任務序列的增長，新任務很有可能包含與歷史任務語義相關的類別（例如不同種類的動物）。因此，模型需要具備一種能力：在區(qū)分貓和狗時，主動從歷史的 “動物相關” 任務中提取特征，而不是從毫不相干的 “建筑物” 任務中提取 。

• 缺乏逐層動態(tài)決策能力：深度模型在不同深度的網(wǎng)絡層中具有不同粒度的語義信息。因此，每一個中間層都需要動態(tài)地檢索和注入對自己定制化的知識，來輸出適配當前層信息的表征。

• 評測數(shù)據(jù)集 “不夠長”：現(xiàn)有的常用連續(xù)學習數(shù)據(jù)集（如 ImageNet-R）類別有限，通常只能支持短序列任務的評測，這使得現(xiàn)有方法在真實世界中的長程表現(xiàn)成謎 。

方法設計

1. 雙階段路由混合專家（Bi-Level Routing Mixture-of-Experts, BR-MoE）

CaRE 基于預訓練 ViT，在每個 Transformer Block 中無縫嵌入 BR-MoE 模塊。每當新任務到來，BR-MoE 僅學習一組三元參數(shù)組合：類感知器（Class Perceptron）、路由網(wǎng)絡（Router Network）和專家適配器（Expert Adapter）。

圖 1 BR-MoE 工作流程：(a) 基于 BR-MoE 的 ViT build block；(b) 訓練流程；(c) 推理流程

BR-MoE 的核心在于兩階段路由機制，旨在同時實現(xiàn) “判別性” 與 “全面性” 兩大目標：

① 動態(tài)路由器選擇（第一階段）

對于任意輸入，BR-MoE 將其 [CLS] Token 送入所有歷史任務的類感知器，逐網(wǎng)絡層計算每個任務對應的預測熵值。熵越低，說明該任務與當前輸入的語義分布越接近、越可能是正確的源任務。據(jù)此，BR-MoE 動態(tài)選取熵值最小的 Top-M 個路由網(wǎng)絡，整個過程無需顯式任務標簽，且每一層都獨立執(zhí)行這套選擇邏輯，實現(xiàn)了逐層自適應的動態(tài)路由。

② 動態(tài)專家路由（第二階段）

激活的路由網(wǎng)絡為其名下的專家適配器生成動態(tài)的權(quán)重分數(shù)，選出Top-K 個最相關的專家進行加權(quán)融合，提取具有判別性和互補性的知識。與此同時，一個通過 EMA 機制持續(xù)更新的共享專家始終參與計算，確保全局跨任務通用知識的持續(xù)積累與注入。

兩階段設計的直覺在于：第一階段找到 “最相關任務群”，第二階段在相關任務群內(nèi)精選互補專家進行融合。這種多個路由網(wǎng)絡和專家的協(xié)同激活與計算，讓模型不僅能夠動態(tài)的輸出最適配當前輸入的 “判別性特征”，還能進一步檢索相關的 “互補性特征”，從而形成強大的 “全面性特征”。此外，由于每一層都獨立執(zhí)行這套機制，模型從淺層模式到深層語義均具備自適應知識檢索能力。更多技術細節(jié)請參考原文。

2. 持續(xù)學習新基準：OmniBenchmark-1K

為填補長序列評測基準的空白，研究團隊同步貢獻了 OmniBenchmark-1K 數(shù)據(jù)集。

該數(shù)據(jù)集從 OmniBenchmark-V2 精選1000 個類別，包含約190,000 張圖像，橫跨鳥類、食物、植物、動作等 21 個不同視覺領域，且已經(jīng)排除與 ImageNet 的重疊數(shù)據(jù)，確保無縫使用 ImageNet 預訓練模型，為數(shù)百任務規(guī)模的持續(xù)學習評測提供了堅實的測試平臺。相比之下，常用基準數(shù)據(jù)集例如 ImageNet-R 只有 200 個類別，無法支持超長序列的場景；而 OmniBenchmark-1K 含有 1000 個類別，允許將任務數(shù)量上升至 100、200 乃至 300 以上，真正有效地測評模型應對極長任務序列的持續(xù)學習能力。

實驗結(jié)果

1. 長序列持續(xù)學習全面領先

研究團隊將 CaRE 與多個強大的持續(xù)學習方法進行了全面對比，在 OmniBenchmark-1K 上，團隊設置了100 任務、151 任務、200 任務，甚至拓展到了 301 任務的超長序列。值得關注的是，一些在短序列中表現(xiàn)出色的方法在長序列中性能急劇崩潰，充分暴露了現(xiàn)有方法在可擴展性方面的固有瓶頸，而 CaRE 始終保持穩(wěn)健的學習軌跡。

表 1 CaRE 與其他持續(xù)學習方法在 OmniBenchmark-1K 長序列評測上的持續(xù)學習性能對比

圖 2 CaRE 與其他持續(xù)學習方法在長序列評測上的持續(xù)學習趨勢對比

2. 經(jīng)典短任務序列 “同樣能打”

不僅僅是長序列，在 ImageNet-R、ImageNet-A、ObjectNet 等經(jīng)典的短序列評測中，CaRE 也穩(wěn)居榜首，證明了其在可塑性（Plasticity）和穩(wěn)定性（Stability）之間的完美平衡。

表 1 CaRE 與其他持續(xù)學習方法在經(jīng)典設置下的對比

3. 深入分析：模型真的學會了 “精準回憶” 嗎？

為了探究模型到底學到了什么，我們對 CaRE 內(nèi)部的路由激活模式進行了可視化，非常有意思的發(fā)現(xiàn)：

• 淺層網(wǎng)絡 “通用”，深層網(wǎng)絡 “專一”：在網(wǎng)絡的淺層（如 Layer#3/6），少數(shù)專家會被高頻調(diào)用，因為它們提取的是通用的底層視覺特征（如邊緣、紋理） ；而在網(wǎng)絡的深層（如 Layer 12），激活模式變得非常稀疏且具有高度的 “任務特異性”，這與網(wǎng)絡深層需要提取高層抽象語義進行精確分類的任務完美契合 。

• 測試時的知識穿越：在推理階段，即使處理早期的任務，模型也會動態(tài)調(diào)用從后續(xù)任務學到的互補專家知識。這證明了 BR-MoE 賦予了模型在測試階段靈活整合全局知識的能力 。

圖 3 BR-MoE 激活情況可視化

總結(jié)與展望

CaRE 是目前首個被系統(tǒng)驗證能在 300 + 無重疊任務上穩(wěn)健運行的持續(xù)學習方法，同時在經(jīng)典短序列設置中保持全面領先。提出的 BR-MoE 機制統(tǒng)一了判別性與全面性兩大表征目標，并將動態(tài)知識檢索能力注入每一個網(wǎng)絡層，構(gòu)建了一個強大且可擴展持續(xù)學習系統(tǒng)。此外，CaRE 的雙層路由思路理論上可以應用于跨模態(tài)持續(xù)學習，如圖像、語言和音頻的聯(lián)合序列學習，有望成為下一個 “風口”。

在 AI 模型向長期部署邁進的當下，我們希望 CaRE 及配套的 OmniBenchmark-1K 基準能夠為探索持續(xù)學習提供有價值的參考。同時，我們也期待這項工作能夠激勵更多研究者投身于構(gòu)建真正能 “越學越強” 的持續(xù)學習系統(tǒng)。

更多技術細節(jié)和實驗分析請參考原文：)