ICML 2026 | 突破極限！港大提出首個適配300+任務的持續學習架構，破解遺忘難題

本文第一作者為香港大學計算與數據科學學院博士生婁蒙。

人類可以在一生中持續學習新知識，而不會輕易遺忘已有技能。然而對 AI 模型而言，這恰恰是一道極具挑戰性的難題：每當模型學習新任務時，參數更新往往會覆蓋歷史知識，產生經典的 “災難性遺忘” 難題。持續學習（Continual Learning）正是為突破這一瓶頸而生的研究方向。

其中，類增量學習（Class-Incremental Learning, CIL）是一項極具挑戰性的持續學習問題：模型需要持續學習新類別，同時保持對歷史類別的準確識別能力。近年來，借助大規模預訓練模型（Pre-trained Model, PTM）的豐富先驗知識，CIL 取得了長足進步。然而，現有方法大多只在極短的任務序列上進行驗證，例如5-20個任務。一旦任務數量擴展至上百個，性能就會顯著下滑甚至崩潰。真實世界中，一個長期運行的系統往往需要不斷地學習新知識新概念，這一鴻溝亟待填補。

近日，來自香港大學的研究團隊提出了一種全新的持續學習范式CaRE(ScalableContinual Learner with efficient Bi-LevelRouting Mixture-of-Experts)，首次將連續學習成功擴展到包含300 個以上非重疊任務的超長序列，并在性能上大幅超越了現有的基線算法。此外，團隊還精心構建了一個極具挑戰性的超長序列評測數據集OmniBenchmark-1K。代碼和數據已經全部開源！

• 論文標題：Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts
  
• 論文鏈接：https://arxiv.org/abs/2602.03473
  
• 代碼 & 數據鏈接：https://github.com/LMMMEng/CaRE
  

研究動機

近年來，基于參數高效微調和預訓練模型的持續學習方法取得了明顯進展 。然而，這些方法仍然存在幾個核心問題：

• 缺乏多任務知識互補： 隨著任務序列的增長，新任務很有可能包含與歷史任務語義相關的類別（例如不同種類的動物）。因此，模型需要具備一種能力：在區分貓和狗時，主動從歷史的 “動物相關” 任務中提取特征，而不是從毫不相干的 “建筑物” 任務中提取 。

• 缺乏逐層動態決策能力：深度模型在不同深度的網絡層中具有不同粒度的語義信息。因此，每一個中間層都需要動態地檢索和注入對自己定制化的知識，來輸出適配當前層信息的表征。

• 評測數據集 “不夠長”：現有的常用連續學習數據集（如 ImageNet-R）類別有限，通常只能支持短序列任務的評測，這使得現有方法在真實世界中的長程表現成謎 。

方法設計

1. 雙階段路由混合專家（Bi-Level Routing Mixture-of-Experts, BR-MoE）

CaRE 基于預訓練 ViT，在每個 Transformer Block 中無縫嵌入 BR-MoE 模塊。每當新任務到來，BR-MoE 僅學習一組三元參數組合：類感知器（Class Perceptron）、路由網絡（Router Network）和專家適配器（Expert Adapter）。

圖 1 BR-MoE 工作流程：(a) 基于 BR-MoE 的 ViT build block；(b) 訓練流程；(c) 推理流程

BR-MoE 的核心在于兩階段路由機制，旨在同時實現 “判別性” 與 “全面性” 兩大目標：

① 動態路由器選擇（第一階段）

對于任意輸入，BR-MoE 將其 [CLS] Token 送入所有歷史任務的類感知器，逐網絡層計算每個任務對應的預測熵值。熵越低，說明該任務與當前輸入的語義分布越接近、越可能是正確的源任務。據此，BR-MoE 動態選取熵值最小的 Top-M 個路由網絡，整個過程無需顯式任務標簽，且每一層都獨立執行這套選擇邏輯，實現了逐層自適應的動態路由。

② 動態專家路由（第二階段）

激活的路由網絡為其名下的專家適配器生成動態的權重分數，選出Top-K 個最相關的專家進行加權融合，提取具有判別性和互補性的知識。與此同時，一個通過 EMA 機制持續更新的共享專家始終參與計算，確保全局跨任務通用知識的持續積累與注入。

兩階段設計的直覺在于：第一階段找到 “最相關任務群”，第二階段在相關任務群內精選互補專家進行融合。這種多個路由網絡和專家的協同激活與計算，讓模型不僅能夠動態的輸出最適配當前輸入的 “判別性特征”，還能進一步檢索相關的 “互補性特征”，從而形成強大的 “全面性特征”。此外，由于每一層都獨立執行這套機制，模型從淺層模式到深層語義均具備自適應知識檢索能力。更多技術細節請參考原文。

2. 持續學習新基準：OmniBenchmark-1K

為填補長序列評測基準的空白，研究團隊同步貢獻了 OmniBenchmark-1K 數據集。

該數據集從 OmniBenchmark-V2 精選1000 個類別，包含約190,000 張圖像，橫跨鳥類、食物、植物、動作等 21 個不同視覺領域，且已經排除與 ImageNet 的重疊數據，確保無縫使用 ImageNet 預訓練模型，為數百任務規模的持續學習評測提供了堅實的測試平臺。相比之下，常用基準數據集例如 ImageNet-R 只有 200 個類別，無法支持超長序列的場景；而 OmniBenchmark-1K 含有 1000 個類別，允許將任務數量上升至 100、200 乃至 300 以上，真正有效地測評模型應對極長任務序列的持續學習能力。

實驗結果

1. 長序列持續學習全面領先

研究團隊將 CaRE 與多個強大的持續學習方法進行了全面對比，在 OmniBenchmark-1K 上，團隊設置了100 任務、151 任務、200 任務，甚至拓展到了 301 任務的超長序列。值得關注的是，一些在短序列中表現出色的方法在長序列中性能急劇崩潰，充分暴露了現有方法在可擴展性方面的固有瓶頸，而 CaRE 始終保持穩健的學習軌跡。

表 1 CaRE 與其他持續學習方法在 OmniBenchmark-1K 長序列評測上的持續學習性能對比

圖 2 CaRE 與其他持續學習方法在長序列評測上的持續學習趨勢對比

2. 經典短任務序列 “同樣能打”

不僅僅是長序列，在 ImageNet-R、ImageNet-A、ObjectNet 等經典的短序列評測中，CaRE 也穩居榜首，證明了其在可塑性（Plasticity）和穩定性（Stability）之間的完美平衡。

表 1 CaRE 與其他持續學習方法在經典設置下的對比

3. 深入分析：模型真的學會了 “精準回憶” 嗎？

為了探究模型到底學到了什么，我們對 CaRE 內部的路由激活模式進行了可視化，非常有意思的發現：

• 淺層網絡 “通用”，深層網絡 “專一”：在網絡的淺層（如 Layer#3/6），少數專家會被高頻調用，因為它們提取的是通用的底層視覺特征（如邊緣、紋理） ；而在網絡的深層（如 Layer 12），激活模式變得非常稀疏且具有高度的 “任務特異性”，這與網絡深層需要提取高層抽象語義進行精確分類的任務完美契合 。

• 測試時的知識穿越：在推理階段，即使處理早期的任務，模型也會動態調用從后續任務學到的互補專家知識。這證明了 BR-MoE 賦予了模型在測試階段靈活整合全局知識的能力 。

圖 3 BR-MoE 激活情況可視化

總結與展望

CaRE 是目前首個被系統驗證能在 300 + 無重疊任務上穩健運行的持續學習方法，同時在經典短序列設置中保持全面領先。提出的 BR-MoE 機制統一了判別性與全面性兩大表征目標，并將動態知識檢索能力注入每一個網絡層，構建了一個強大且可擴展持續學習系統。此外，CaRE 的雙層路由思路理論上可以應用于跨模態持續學習，如圖像、語言和音頻的聯合序列學習，有望成為下一個 “風口”。

在 AI 模型向長期部署邁進的當下，我們希望 CaRE 及配套的 OmniBenchmark-1K 基準能夠為探索持續學習提供有價值的參考。同時，我們也期待這項工作能夠激勵更多研究者投身于構建真正能 “越學越強” 的持續學習系統。

更多技術細節和實驗分析請參考原文：)