vLLM這個神器，讓單次調(diào)用背后藏了一支模型協(xié)作小隊

所有人都在等下一個SOTA模型的誕生，但你不知道的變化，正悄悄發(fā)生在模型前側(cè)。

在過去一年里，router 已經(jīng)從 “把請求分給哪個模型” 的轉(zhuǎn)發(fā)代理，演變成了模型推理的核心 “總指揮”。

它的目標(biāo)擴展為：

• 降低成本：什么時候必須用前沿模型，什么時候用開源 SOTA 模型，還是本地小模型已經(jīng)足夠？
• 安全防護：當(dāng)請求屬于法律、醫(yī)療、金融、未成年人、企業(yè)機密等敏感區(qū)域，是否應(yīng)該自動切到更嚴(yán)格的模型？或者用更強的過濾器或更穩(wěn)的審查和校驗，或者上升到人為確認(rèn)？
• 云邊協(xié)同：哪些請求意圖應(yīng)該留在邊端，比如通過 AI PC 部署的本地模型，做本地低延遲的快速處理；哪些任務(wù)應(yīng)該升級到云端，讓更強模型接手？

上面這些都是 router 從傳統(tǒng)的路由轉(zhuǎn)發(fā)，演進出來的 “系統(tǒng)智能”。

vLLM 社區(qū)推出的 Semantic Router 除了專注上面三個方向，正在更進一步：

我們認(rèn)為：router 不只是選擇模型，還可以提升模型能力。

用戶不用改權(quán)重，也不用讓每個 Agent 團隊都自己搭一套 Graph，而是在一次普通 Model API 調(diào)用的內(nèi)部，組織出一支有邊界、有預(yù)算、有驗證、有回退的 “小隊”。

圖 1：router 正在從 “模型選擇層” 變成 “能力構(gòu)造層”。

最近日本的 AI 公司 Sakana Fugu 熱度很高，也引發(fā)了眾多的討論，他們推出的 Fugu 模型，是這個想法的商業(yè)化的版本：用戶看到的是一個虛擬模型，但實際背后卻是一組模型的動態(tài)協(xié)作。

而 vLLM Semantic Router 團隊從 2025 年的年初就開始專注智能路由領(lǐng)域，并在開源的方式構(gòu)建和協(xié)作，推出了 Micro-Agent 來解決這個問題。

用戶仍然只調(diào)用一個模型：

但在這個穩(wěn)定的 model 后面，router 可以根據(jù)意圖，智能的選擇路由配方，fan out 到多個 worker，收集 quorum，判斷分歧，合成答案，修復(fù)輸出格式，最后返回一個普通的 OpenAI-compatible response。

整個協(xié)作的過程，像調(diào)用一個普通模型一樣簡單。

Looper：把 Micro-Agent

放入到 Serving Runtime

在 vLLM Semantic Router 處理請求的過程中，looper 是 micro-agents 的運行時。

當(dāng)一次請求進入 router 時，它仍然是一條普通 chat completion。router 會通過不同角度，先抽取異構(gòu)的語義 signals，再把離散的 signals 投影成 task shape、difficulty、risk、contract pressure 等可用于策略判斷的低維向量，然后基于命中 decision，最后到不同的路由算法。

這個算法可以是匹配最適合這個任務(wù)的單模型，也可以是一個多模型協(xié)作的 Loop。

當(dāng)前的 looper patterns 有五類：

• Confidence：根據(jù) confidence 自動升級。先嘗試便宜或小的 candidate 模型，再度量 confidence，不夠再往上升級。
• Ratings：一次性讓多個 candidate 模型參與，并用 rating-aware weights 進行聚合。
• ReMoM：面向高方差推理的 repeated mixture-of-model reasoning。它發(fā)起并行推理，等待采集到足夠多的有效結(jié)果，再做 synthesis。
• Fusion：panel、judge、finalizer 模式。多個獨立答案不是簡單投票，而是變成 agreement、contradiction、unique insight 等使用的證據(jù)。
• Workflows：有角色、有計劃、有 verifier 的 micro-agent 動態(tài) workflow 模式。它可以調(diào)度出 planner /worker/verifier /finalizer 等動態(tài)工作流，去解決一個復(fù)雜問題。

圖 2：looper 在 router 內(nèi)部運行 micro-agents，同時保持外部 Model API 不變。

我們的設(shè)計里，做了克制的工程化實現(xiàn)，不同的 looper 算法需要綜合控制預(yù)算、拓?fù)洹⒉l(fā)、timeout、retry、fallback 和 output contract 以及可觀測性，確保它在 routing 過程中的可靠性以及穩(wěn)定性。

同時我們認(rèn)為不同的 looper 算法適用于不同的場景，也有不同的收益：

Confidence：只把升級花在

難解決的問題上

Confidence 是 cost-aware loop。它先用較小或較便宜的 candidate 生成答案，再判斷這個答案是否足夠可信。confidence signal 可以是 token-level log probability、logprob margin、hybrid score、self-verification 生成的，也可以是 AutoMix-style entailment verifier 生成的。

但是如果分?jǐn)?shù)超過閾值，router 直接返回。如果分?jǐn)?shù)不夠，route 才會升級到下一個 candidate。

這讓 “是否升級” 從應(yīng)用層的隱式邏輯，變成 router 的顯式策略：threshold、failure behavior、stopping condition 都可以被配置、觀察和復(fù)現(xiàn)。

圖 3：Confidence 把模型升級變成可度量的 stopping policy。

Ratings：硬上限約束下的

并行質(zhì)量控制

Ratings 是 controlled ensemble loop。它會并行啟動多個 candidate，但只到配置里的 max_concurrent 上限為止。這樣一個 route 可以吸收多個模型視角，又不會把每個請求都變成無邊界 fan-out。

router 收集成功的返回，按 rating-aware 聚合結(jié)果，并按預(yù)定義策略去處理失敗。它適合 A/B-style evaluation、ensemble strategies，以及 operator 已經(jīng)有 candidate quality signal 的場景。

圖 4：Ratings 讓多候選執(zhí)行保持有界，并把評分信號納入聚合。

ReMoM：有契約的 Breadth

ReMoM 適合高推理方差任務(wù)模式。它先展開 breadth samples，讓多個 worker 獨立產(chǎn)生證據(jù)；然后通過 minimum-success quorum 判斷是否有足夠有效材料；最后由 synthesis model 合并證據(jù)，并修復(fù)成目標(biāo)輸出格式。

它不是 “三個模型投票”。更準(zhǔn)確地說，它是一條有 quorum、有 synthesis、有 fallback 的服務(wù)路徑。

如果 synthesis round 失敗，但如果前面已經(jīng)有了有效證據(jù)，router 就不需要直接返回失敗。它可以回退到 best valid evidence，仍然返回一個正常 API response。

圖 5：ReMoM 把 breadth、quorum、synthesis 和 fallback 都變成 serving-time controls。

Fusion：把分歧變成信號的模式

Fusion 的假設(shè)更加微妙：有時候最有價值的不是平均答案，而是分歧結(jié)構(gòu)。

多個 panel answer 會被整理成證據(jù)圖。哪些地方一致，哪些地方?jīng)_突，哪些回答提供了獨特 insight，都會交給 judge 和 finalizer。最終用戶仍然只看到一個答案，但 router 內(nèi)部已經(jīng)用分歧做了一次質(zhì)量增強。

這類 loop 處理 hard reasoning、expert judgment、exact-answer 任務(wù)時尤其有用。因為最危險的失敗不是模型猶豫，而是模型非常自信地出錯。

圖 6：Fusion 不隱藏分歧，而是把分歧轉(zhuǎn)化成證據(jù)。

Workflows：

有邊界的 Micro Agent 模式

Workflows 是最接近 agent 的形態(tài)，也是最需要邊界的。

planner 可以制定計劃，但只能選擇已經(jīng)允許過的 worker models。plan 必須能能夠被校驗。每一步都必須有 max steps、max parallel、timeout 和 error policy。finalizer 必須把結(jié)果收斂到 output contract 里。

這意味著 router 可以表達 planner、patcher、verifier、finalizer，而不要求應(yīng)用層必須自己維護一套 fragile 的 agent stack。

圖 7：Workflows 給 router 一個受約束的角色系統(tǒng)，而不是一個無邊界的 autonomous agent。

Auto Recipe：一個 Model Name，

多種 Loop

vllm-sr/auto 的設(shè)計，不是讓用戶 “永遠(yuǎn)跑最強的 loop”，而應(yīng)該是：router 根據(jù)語義和上下文，選擇對當(dāng)前請求來說最合適的協(xié)作模式。

difficulty、risk、format pressure、latency、cost 不是 prompt 里的注釋，而是 routing facts。它們可以決定這次請求應(yīng)該走 Confidence、Ratings、ReMoM、Fusion、Workflows，還是 fallback path。

圖 8：Auto Recipe 用 signals 選擇 collaboration pattern，同時保持單一 model identity。

Loop 是萬能的嗎？

我們做 eval 后，最明確的發(fā)現(xiàn)是：沒有一個 loop 能對對所有 benchmark 都做到最優(yōu)。

而更準(zhǔn)確的結(jié)論是：

最好的 loop 是由 task-shaped。

GPQA-Diamond 要保證有 multiple-choice contract。LiveCodeBench 要擁有 runnable code、hidden-test robustness、輸入輸出格式。Humanity’s Last Exam 要處理分歧、長推理和 exact answer。SWE 任務(wù)則天然就需要 planner、patcher、verifier、finalizer。

所以說 vllm-sr/auto 的真正價值并不是把所有請求都拖進昂貴協(xié)作，而是把 request shape 提前感知出來，再選擇對應(yīng)匹配的 recipe。

圖 9：不同 benchmark 對應(yīng)不同 recipe，router 用 signals 和 projections 選擇合適的協(xié)作路徑。

在我們的實驗里，這些 shape 是顯式寫進路由策略的：

• GPQA-Diamond 使用嚴(yán)格的 ANSWER: X contract，避免 synthesis 把選項格式改亂。
• LiveCodeBench 會識別 constraints、starter code、standard input、float tolerance、timeout risk 和 hidden-test risk。
• HLE 會識別 formal reasoning、disagreement risk、long context 和 exact-answer pressure，再選擇 deeper ReMoM、smaller Fusion 或 fallback。

這就是為什么 router-side model collaboration 不只是 prompt engineering。Prompt 只是其中一層。

真正的 recipe 還包括 model pool、roles、reasoning effort、concurrency、quorum、timeout、synthesis model、fallback policy、output contract 和 observability labels。

三個實驗：分?jǐn)?shù)不是全部，

但足夠能說明趨勢方向

我們把當(dāng)前 recipe 放到三個高難 benchmark 上做了實驗：LiveCodeBench、GPQA-Diamond、Humanity’s Last Exam，都取得了不錯的成績：

圖 10：VSR Closed / VSR Hybrid 在三個 hard eval 上的 scorecard。

VSR Closed 指 recipe 全部使用閉源商業(yè)化模型。
VSR Hybrid 指 recipe 混合開源和閉源模型，并在高風(fēng)險 judging、repair、synthesis 或 fallback 上使用更強的閉源模型。（在成本上相比全部閉源模型有很大的優(yōu)勢）

實驗表明：hybrid model collaboration 可以形成一個比底層單次調(diào)用更強的統(tǒng)一 Mixture-of-Models。它可以接近、匹配甚至超過 SOTA 單模型的 model baseline，持平或超過了 Fugu 的商業(yè)化 Collaborative Model，同時保持一個干凈的 Model API 接口。

用戶看到的是一個模型名稱。而系統(tǒng)控制著路由配方，可以在不改客戶端的情況下快速接入。開源模型和閉源模型也可以在同一個 Router 的指揮下參與協(xié)作。

Model Serving 的邊界正在被改變

過去的 serving stack 是被動的：收到 model name，把請求發(fā)給 backend。

下一代 serving stack 是主動的。它會問：

• 這個請求有哪些特征？
• 它處在哪個 quality、cost、latency、safety band 的哪個階段？
• 單模型是否足夠？
• 如果不夠，應(yīng)該運行哪種 collaboration 算法？
• 哪個 output contract 不能被破壞？
• provider 慢了、錯了、格式壞了，應(yīng)該怎么回退？
• 如何給用戶一個干凈反饋，同時保留完整 trace？

這不是應(yīng)用 glue。這是 infrastructure。

Micro-agent 進入 router，因為 router 天然就站在 Agent 和 Model 之間，掌握著一切路由所需要的語義（Semantics）以及系統(tǒng)狀態(tài)（KVCache、Load），擔(dān)任系統(tǒng)的大腦去智能的路由和調(diào)度模型，最終以 OpenAI-compatible API 的兼容語義暴露出去。

作者介紹與致謝

本項目由來自 MBZUAI、McGill University、Mila 和 Agentic Intelligence Lab 的研究者共同完成，并得到了 Dr. Bowei He 和 Prof. Xue Liu 的指導(dǎo)與支持。Dr. Bowei He 是 MBZUAI 和 McGill University 的博士后研究員，當(dāng)前主要研究方向圍繞 Agentic AI。Prof. Xue Liu 是 MBZUAI 和 McGill University 的 CS 和 ML 系教授，同時也是加拿大工程院院士和 IEEE Fellow. 主要 Individual Contributors 包括來自 vLLM Semantic Router 社區(qū)的: Xunzhuo Liu、Huamin Chen、Yincheng Ren。同時也感謝 AMD 的 Andy Luo 和 Haichen Zhang 提供了 AMD GPU 硬件支持，以及高性能的 Model Serving 和 Evaluation 環(huán)境等。

下一輪模型競賽仍然會有更強的模型出現(xiàn)。但它也會有更強的 router 出現(xiàn)：知道什么時候省錢，什么時候做安全升級，什么時候留在邊端，什么時候去云端，什么時候把一次請求變成一支小而紀(jì)律嚴(yán)明的隊伍。

這也是 vLLM Semantic Router 團隊專注的方向，歡迎大家使用和參與到開源貢獻中！