Agent要數量也要腦子！浪潮信息一邊單柜養4萬Agent，一邊讓大模型組隊答題

• 克雷西 發自 凹非寺
  量子位 | 公眾號 QbitAI

AI基礎設施的核心任務，已經從支撐大模型推理，轉向支撐海量智能體的規模化運行與高質量Token的持續生產。

據IDC數據，2025年中國AI Agent企業級市場規模約190億元，預計2025至2028年復合增長率超過110%。Gartner的判斷更直接，2026年將有40%的企業應用集成任務型AI Agent。

大模型推理階段，AI基礎設施只需要支撐一次輸入一次輸出。

進入Agent階段，基礎設施要支撐的是任務拆解、工具調用、多輪協作和持續運行，這對算力提出了完全不同的要求。

這背后其實是兩個方向的能力缺口，一個是海量Agent能不能規模化、穩定地運行起來，另一個是多個模型能不能協同工作，讓Agent變得更聰明。

浪潮信息在2026開放計算大會上，針對這兩個缺口分別給出了新的產品方案。

Agent對基礎設施提出新要求

Agent時代，人們對AI基礎設施也有了新的要求。

過去企業部署AI，大多是接入一兩個模型，處理相對獨立的任務，調用一次、返回一次，事情就結束了。

Agent不是這樣。

一個Agent應用要先把任務拆開，再一步步調用工具、來回協作，背后同時運轉的可能是一整群Sub-Agent。

部署到企業之后，Agent的數量更是可能高達成千上萬。

怎么讓這么大規模的Agent群體穩定協同地跑起來，就成了一個繞不開的新問題。

除了Agent數量在增多，單一模型這邊的壓力也在增加。

有的模型擅長邏輯推理，有的擅長寫文本，這種能力上的偏科沒法靠堆參數量解決。

但實際任務又變得越來越復雜，很難指望一個模型什么都會。

所以，怎么讓多個模型分工協作、互相補臺，成了另一個必須解決的問題。

這兩件事要真正落地，都必須有底層算力基礎設施打頭陣。

新需求來臨之后，基礎設施的第一個變化，就是CPU變得更重要，戲份也更多了。

以前的問答模式下，大模型推理是一次輸入一次輸出，更多依靠GPU運行。

但Agent不一樣，它要做任務拆解、調用工具、多輪協作、匯總結果，這些整型運算和邏輯推理，運行在CPU之上。

而且Agent不是跑一次就“下班”，很多Agent必須常年在線，運行時間被大幅拉長。

所以在AI Infra行業里，算力配比也在發生變化，從過去以GPU為中心，走向多元算力系統協同。

CPU的重要性上來之后，緊接著要面對的是功率密度問題。

浪潮信息副總經理趙帥介紹，國內的AI機柜功率今年內就要沖到300千瓦，全球部分機柜已經進入兆瓦級。

如果CPU側還停留在單柜幾千瓦的密度，根本沒法匹配數據中心全新的電力基礎設施。

隨著機柜功率不斷攀升，散熱就成了問題，傳統風冷單機柜散熱40到50千瓦的上限早就撐不住了，液冷方案成了必選項。

單柜運行4萬+Agent

為了實現Agent的規模化運行，浪潮信息發布了業界首款CPU原生液冷整機柜服務器。

這臺服務器單柜最大可支持384顆基于開放OCM（開放計算模組）架構的CPU處理器，兼容x86和ARM，可以支撐4萬+個Agent協同運行。

△浪潮信息副總經理 趙帥

這個規模是浪潮信息今年4月發布的“企千蝦”方案的40倍。

企千蝦當時是用單臺2U服務器部署1000個OpenClaw，這一次，浪潮信息直接把Agent塞滿了一整個機柜。

而且該機柜采用的OCM架構。能夠兼容不同代際、不同架構的處理器，不用為每一代新芯片重新設計整套系統，研發周期因此被大幅壓縮。

要在一個機柜里塞進384顆CPU，散熱是繞不開的坎。

浪潮信息提出了一種全新的散熱理念：原生液冷。

這一想法完全顛覆傳統風液混合的散熱邏輯，以前的冷板液冷服務器設計是給計算部件貼散熱冷板，其他內存、網卡、硬盤還是要再研究怎么通過風扇把產生的熱量散出去。

這一次思路完全顛覆，計算和散熱協同設計，突破傳統液冷僅覆蓋CPU的局限，對內存、網卡、光模塊、SSD等所有發熱部件一并納入液冷散熱體系，重構整個算力系統。

浪潮信息的具體做法是把算力單元做成2U超薄形態，一個節點塞進16顆CPU，同時把內存、網卡、光模塊這些原本靠風扇和線纜維持散熱與連接的部件，直接平鋪在主板上，用一整塊冷板統一承接散熱，連服務器托架也省了。

這樣，原來被風扇、冷管、線纜占用的空間，都被騰出來留給計算和IO資源，整機柜也因此做到了無線纜設計，支持熱維護，保障業務零中斷，整機柜運維效率提升100%以上。

多個大模型，協同完成一次任務

為了讓Agent變得更聰明，浪潮信息還在元腦企智EPAI平臺上線了多模融合API，并同步發布了元腦SD200超節點AI服務器企業版。

多模融合做的事情，是把同一個任務同時甩給多個候選模型，讓它們各自獨立生成答案，再由一個評審融合模型出面，比較這些答案里的共識、分歧、遺漏和獨特觀點，最終拼出一個統一的輸出。

這套流程也不是所有任務都要走一遍，簡單問答、工具調用、格式轉換這類短任務，系統會直接路由給更輕量的單模型處理。

只有復雜的長鏈路任務，系統才會調度多個候選模型協同處理，避免小題大做。

這套機制在DRACO測試里取得了53.9%的成績，高于同一測試候選池里任何一個單模型的表現。

目前這項能力可以多模融合API的形式對外開放，既可以像普通模型服務一樣直接接入應用，也可以配置到智能體和開發框架里，沿用原有的對話、推理和工具調用流程。

不過問題也隨之而來，多個大模型同時參與一次任務，無疑對底層算力提出了更高的要求，既要一次裝得下多個萬億參數模型，又不能犧牲輸出速度。

這正是元腦SD200超節點要扛住的部分。

元腦SD200超節點去年發布時，已經能同時部署4個萬億參數大模型，token生成時間做到8.9毫秒，是國內首個突破10毫秒大關的產品。

今年，這個數字進一步壓到4.77毫秒，是國內首個跑進5毫秒的方案，首Token延遲也降低了35%。

這些提升背后是多Token預測、W4A8精度方案和JIT即時編譯這類軟硬協同優化在起作用。

• 多Token預測讓解碼階段一次生成多個候選token再校驗，減少了逐字生成的輪次；
• W4A8把萬億參數模型里MoE模塊的計算精度從BF16降到INT8，降低了訪存帶寬壓力；
• JIT則會在運行時根據張量形狀動態生成專用的GPU內核，讓算力更貼近硬件的特性。

目前，元腦SD200超節點已經完成了對Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3等主流開源模型的適配。

不過，這套架構的門檻，對不少中小企業來說依然偏高。

因此，浪潮信息還推出了元腦SD200超節點企業版，可以理解成是小號的元腦SD200。

它把Scale Up計算域從64卡減少到16卡，萬億參數模型的首token延遲降低40%以上，給企業提供了更低遷移和適配成本的選擇。

這樣，原本只能部署千億模型做輔助的企業，現在也能把萬億模型真正用進生產環境。

Agent基礎設施，競爭已經生變

如今，CPU、GPU和軟件平臺這三者的分工，正在變得更緊密。

其中，軟件平臺負責模型接入、任務編排、資源調度、權限治理和結果融合，CPU承載Agent實例、工具調用、沙箱運行和業務系統交互，GPU負責模型推理與Token生成。

三者協同，才能支撐海量Agent穩定運行和復雜任務高效執行。

這條鏈路里，任何一環掉隊，整個Agent應用都跑不順暢。

這也讓Agent時代基礎設施的競爭重點發生了變化。

過去比的是誰對單一模型的支持能力更強，現在比的是誰系統級協同能力誰做得更好。

單點強已經不夠，整條鏈路跑不跑得順、協不協同才是關鍵。

這正是浪潮信息這次想在Agent基礎設施上給出的答案。