代理式AI時代：NVIDIA以極致協同設計破解三重瓶頸

作者：毛爍

AI范式從被動式的大語言模型（LLMs）向具備持續多步推理、工具調用及沙盒驗證能力的代理式 AI（Agentic AI）躍遷后，傳統基于x86 架構和松耦合以太網的計算集群正面臨“阿姆達爾定律（Amdahl's Law）”與“通信/內存墻（Communication/Memory Wall）”的鉗制。

2020-2024年 GPU 算力（FLOPS）、網絡帶寬（NIC）與內存容量（HBM）的增長趨勢對比。可以看出，算力的增長（28.8x）遠超帶寬（2.0x）和內存（2.4x）的增長，形成了嚴重的“通信/內存墻”。

來源： 論文《DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference》 (arXiv:2602.21548, 2026)

前幾年的大語言模型，無論是訓練還是推理，都以Transformer 為核心，進行大規模矩陣計算。GPU持續執行GEMM 運算，而CPU更多承擔數據準備、任務調度等輔助工作。因此，整個數據中心的設計目標始終圍繞“如何讓 GPU 跑得更快”展開。

然而，代理式AI的出現改變了這一前提。

AI Agent并不會在生成一次回答后便結束計算，而是需要不斷進行“思考—調用工具—執行代碼—驗證結果—再次推理”的循環。在強化學習（Reinforcement Learning，RL）的后訓練（Post-Training）過程中，Agent 需要持續生成代碼、進入沙盒運行、獲取反饋并重新優化策略。

此外，在多智能體（Multi-Agent）系統中，不同 Agent之間又需要頻繁交換上下文、調用外部工具、共享中間狀態，共同完成復雜任務。

由此可見，AI 的計算模式已不再是單純的大規模并行矩陣計算，而是演變為計算、訪存、網絡通信與控制流高度交織的混合負載（Hybrid Workload）。

正是由于這種工作負載的根本性變化，傳統AI集群體系結構也開始集中暴露出諸多問題：

一方面，是控制流導致的阿姆達爾定律重新成為系統瓶頸。代理式AI需要頻繁調用 Python解釋器、代碼編譯器、數據庫、搜索引擎等外部工具。這些任務依賴大量條件判斷、系統調用和控制流分支，只能由CPU串行執行。

根據阿姆達爾定律，當不可并行化部分不斷增加時，即使GPU的計算能力繼續提升，整個系統性能仍將受到CPU串行執行能力的限制，導致大量 GPU 計算資源反而會因為等待 CPU而空轉。這嚴重制約了整體效率的提升。

LLM在不同任務結構（并行、混合、串行）下的加速比與阿姆達爾定律（Amdahl's Law）理論上限的對比。實驗證明，隨著任務串行比例增加，增加代理數量帶來的性能收益迅速飽和。

來源：論文《Language Model Teams as Distributed Systems》 (arXiv:2603.12229, 2026)

另一方面，是長上下文帶來的通信墻與內存墻問題。隨著模型上下文窗口擴展到數十萬乃至數百萬Token，Transformer的KV Cache持續膨脹，占據越來越多的HBM容量。

而在多節點推理過程中，這些上下文狀態還需要頻繁同步，引發大量網絡微突發（Micro-bursts）。如果是傳統基于松耦合以太網的數據中心，很容易因此產生擁塞、哈希沖突和丟包，最終導致尾端延遲（Tail Latency）快速放大，GPU的計算效率也隨之下降。

另外，傳統安全邊界也正在逐漸失效。代理式AI的功能不僅是讀取數據，還能動態生成并執行代碼。而傳統的EDR等安全軟件與AI工作負載共享同一個操作系統內核，一旦發生Prompt Injection或權限逃逸，攻擊便能直接繞過主機安全機制，形成直接入侵。這無疑對數據中心的安全防護提出了更高要求。

不難發現這三類問題并非單純源于GPU 算力不足，而是CPU、GPU、內存、網絡和安全之間傳統松散耦合的系統架構，已經無法支撐代理式AI的新型工作負載。

因此，真正需要升級的，是整個AI數據中心的體系結構。

面對這些系統級危機，作為AI“風向標”的NVIDIA在GTC 2026期間給出系列解法。

NVIDIA的方案是采用“極致協同設計（Extreme Co-design）”，其核心邏輯是將計算、存儲與網絡從物理引腳、協議棧到機架互連進行全鏈路的重新定義。

01 控制流瓶頸：Vera CPU破解“阿姆達爾定律”

其實，代理式AI的執行過程充斥著代碼編譯、腳本執行、工具調用以及獎勵函數評估等大量串行任務。這些工作高度依賴控制流和邏輯判斷，無法像矩陣計算那樣交由GPU大規模并行處理，而必須依靠CPU完成。

當Agent不斷在“推理—執行—反饋—再推理”的循環中運行時，CPU就成為整個系統新的性能瓶頸。為突破阿姆達爾定律帶來的串行挑戰，NVIDIA推出了專門面向AI沙盒與任務調度設計的Vera CPU。

截取自：NVIDIA

與前代Grace CPU采用Arm Neoverse V2公版核心不同，Vera搭載了88個NVIDIA完全自研的Olympus核心，兼容Armv9.2指令集。對Agent來說，無論代碼編譯、文本解析還是工具調用，都伴隨著大量不可預測的條件跳轉；傳統CPU一旦分支預測失敗，就不得不清空流水線重新執行，控制流越復雜，性能損失越明顯。

截取自：NVIDIA

為此，Olympus配備了10寬指令獲取與解碼前端（10-wide Fetch/Decode Front-end），提升單位時鐘周期內的指令吞吐能力；同時引入神經分支預測器（Neural Branch Predictor），在一個時鐘周期內同時評估兩條已采取的分支路徑，進一步降低流水線沖刷（Pipeline Flush）的開銷，從而在復雜控制流下依然保持較高的每周期指令數（IPC）。

不過，僅提升單線程效率并不能解決代理式AI的全部問題。當數百乃至數千個Agent沙盒同時運行時，影響系統吞吐的，就變成了大量線程是否能穩定并發執行的問題。

針對這一問題，Vera引入了空間多線程（Spatial Multithreading）技術，在物理層面對執行資源進行靜態隔離與配額分配，使每個線程即便在高負載下也能獲得穩定且可預測的計算資源，從而保證數萬個沙盒任務同步完成。這種確定性執行（Deterministic Execution），正是強化學習大規模并行訓練所需要的能力。

當控制流與線程調度效率都得到提升后，新的瓶頸又會迅速暴露：對于ETL、數據庫查詢，以及Agent沙盒而言，CPU更多時間并不是在計算，而是在等待數據。

因此，Vera進一步重構了整個內存系統，采用第二代LPDDR5X內存子系統，并首次引入SOCAMM（Small Outline Compression-Attached Memory Modules，小型可插拔壓縮附加內存模塊）封裝技術，在保留LPDDR高帶寬、低功耗優勢的同時，也具備了服務器所需的可插拔與可升級能力。

最終，在LPDDR5X內存子系統典型功耗低于30瓦的前提下，Vera實現了1.2TB/s的總內存帶寬和1.5TB的內存容量，每個核心平均可獲得約14GB/s的內存帶寬，較傳統x86平臺有較大提升。

在沙盒容器的代碼編譯、腳本執行與壓縮等典型工作負載中，滿載插槽下Vera的單核性能較x86平臺實現了1.5倍的提升。

截取自：NVIDIA developer

至此，代理式AI在控制流、線程調度與內存訪問上的瓶頸，被Vera CPU從底層架構上逐一進行了針對性優化。

02 Scale-Up：NVL72一致性互連域+AFD異構推理拓撲

Vera CPU解決的是單個節點內部的效率問題，但是，當成千上萬顆GPU與CPU需要整體協同工作時，芯片之間如何高速互連，就成為下一道必須跨過的關口。Vera Rubin NVL72,連同與之配套的Groq 3 LPX異構機架，即為這一方向的落地形態。

其實，NVL72的內部結構是由底板（Midplane）硬連接構成的物理閉環，而非通過以太網松散相連的獨立服務器。一個機架內集成72顆Rubin GPU與36顆Vera CPU，而讓這些芯片實現共享內存與一致性通信的核心支撐，就是機架背部的第六代NVLink銅質主干（Spine）。

另外，NVL72放棄了傳統的復雜布線，將Spine拆分為四個模塊化的預集成線纜盒，排布5000多根特制高頻銅纜，總長超過2英里；計算托盤改用PCB中板設計，讓超級芯片插槽直接對接后部的NVLink接口。

截取自：NVIDIA

托盤內部實現了“無纜線、無軟管、無風扇”（無纜化指的是計算托盤內部，改用的是板對板連接器），組裝與維護時間從2小時縮短到5分鐘；更關鍵的是，整個機架縱向擴展（Scale-up）的對分帶寬被推高到260TB/s。

在這套無阻塞全互聯（All-to-All）通信域中，每塊 Rubin GPU可獨占 3.6 TB/s通信通道。對于混合專家模型（MoE）而言，萬億參數MoE在執行推理時，專家路由機制會產生巨量參數交互流量；倘若這部分流量外溢至高延遲以太網，模型性能將會出現斷崖式下跌。依托NVLink，所有數據交互均可收斂在低延遲物理層內部，無需流出機架。

截取自：NVIDIA

不過，單機架72卡并不是規模終點。為承載未來千萬億參數模型，NVIDIA在Vera Rubin上采用光學技術，拓寬NVLink物理邊界。

Polyphe是NVIDIA內部基于GB200搭建的NVL576多機架原型，用于驗證這套跨機架NVLink拓撲的可行性。預計，到Rubin Ultra世代，NVL576將以8個MGX NVL機架、每架72顆GPU的形式落地。機架內部仍走銅纜，機架之間則由CPO交換機組成兩層全互連網絡，576顆GPU共享同一NVLink域。再往后的Feynman世代，Kyber機架將把單機架NVLink域翻倍至144顆GPU，8個Kyber拼成NVL1152。

但是，即便擁有超大規模GPU集群，大模型推理自身仍存在難以回避的算力矛盾。

大模型推理在計算特性上存在天然分裂。預填充（Prefill）階段屬于計算密集型矩陣運算（GEMM），高度依托 GPU Tensor Core 算力；解碼（Decode）階段采用自回歸生成邏輯，單次僅輸出一個Token，計算負載不高，卻對內存帶寬有著極強需求，是典型的帶寬受限（Memory-bandwidth bound）任務。

NVIDIA 給出的方案是“注意力前饋解耦”（Attention-FFN Disaggregation，AFD）：Rubin GPU 繼續承擔預填充，同時保留解碼階段的注意力（Attention）計算，這一環節需要訪問已積累的全部KV Cache，考驗的是顯存容量，配備288GB HBM4的Rubin能夠勝任。而前饋網絡（FFN）與MoE 專家計算不依賴大容量顯存，只對帶寬敏感，因此交由LPU 執行。

需要強調的是，兩類芯片并非前后接力，而是針對每個輸出Token的每一層進行協同計算，而請求的分類與路由則由NVIDIA Dynamo負責調度。

承載這套系統的是Groq 3 LPX 機架，其256顆LPU分布在32個液冷計算托盤中，每盤8 顆LP30芯片。

單顆LPU配備500MB片上SRAM，雖然容量遠不及 Rubin，但其SRAM帶寬達到了150TB/s，接近Rubin HBM4的22TB/s的7倍。坦白講，解碼本就是帶寬受限的任務，小容量、高帶寬的 LPU是更合適的選擇。

整機架匯總為128GB片上SRAM、40PB/s的SRAM帶寬，另配12TB DDR5用于承載大模型。托盤之間通過背板的四條ETL 主干互連，聚合出640TB/s的scale-up帶寬。

截取自：NVIDIA

借助這一解耦方案，系統在維持高并發吞吐的基礎上，可實現每兆瓦推理吞吐量提升 35 倍。

而為支撐這一算力密度，NVL72在供電上引入了機架級能量存儲。當AI同步負載產生劇烈的微秒級瞬態功率峰值（Power Spikes）時，電容瞬間放電補充能量，將交流電源的波動大幅降低，配合動態 Max-Q 動力轉向技術，可釋放額外的GPU部署容量。

截取自：NVIDIA

03 Scale-Out：Spectrum-6 SPX CPO摒棄DSP與重定時器功耗

依托NVLink構建起機架內、跨機架的大規模GPU一致性互聯，和Groq 3 LPX 的異構推理流水線，讓算力硬件體系的內部通路難題得以解決。

但是，當 AI工廠的規模從單個POD擴展至包含十萬張 GPU的超大規模集群（Scale-out）時，外部物理網絡便成為了最大的能效與延遲瓶頸。

而NVIDIA的Spectrum-6 SPX以太網機架及其背后的 CPO（光電一體化封裝）硅光技術，正是推動集群組網邁入高速光互聯的關鍵。

其實，在以往400G、800G網絡中，交換機一般使用前面板可插拔光模塊（如 OSFP 封裝的收發器）。而當網絡通道（SerDes）速率提升至 200Gb/s時，交換機ASIC（專用集成電路）到前面板光模塊之間的PCB銅線走線會產生嚴重的信道衰減和信號反射。

所以，為了補償信號完整性，工程師不得不引入功耗極高的重定時器（Retimer）和數字信號處理器（DSP）。這導致網絡通信的功耗呈指數級飆升，極大地擠占了本應用于GPU計算的能源預算。

電信號自ASIC內部生成后，僅傳輸數毫米極短路徑，就能在封裝內部直接調制為光信號送入光纖。這一架構能摒棄長距離PCB走線，進而移除功耗高昂的外置DSP與重定時器芯片。

當然，帶來的改變也頗具顛覆性：CPO硅光技術令光網絡能效提升5 倍；受熱損耗、復雜器件誘發的系統故障率下降10 倍，也就是可靠性提升10 倍，同時還能進一步打破限制 AI集群橫向擴容的功率天花板。

在物理層實現突破后，NVIDIA 針對AI流量的特性還設計了MGX ETL機架。該機架內部采用了獨特的 Spectrum-X多平面拓撲（Multi-plane Topology）結構。

截取自：NVIDIA

在1U的 MGX ETL交換機托盤中，內部通過短距離銅質Spine連接節點。通過在機架組內提供完全無阻塞的多對多（Any-to-Any）連接，并結合動態負載均衡算法，該架構能有效地打散并吸收 AI 訓練中產生的同步微突發流量（Micro-bursts）。

這種將光電硬件與自適應路由軟件極度融合的設計，使得標準以太網實現了媲美 InfiniBand的無損、零抖動（Zero Jitter）傳輸質量。

04 恪守信任邊界，BlueField-4接管記憶與安全

NVLink全域互聯架構與CPO光電組網，解決了超大規模AI集群的計算吞吐與橫向擴展瓶頸，但面向當前快速迭代的代理式AI場景，整套基礎設施仍面臨全新挑戰。

智能體持續、長周期的自主任務交互，對集群計算與網絡資源形成持續壓力，更造成了傳統數據存儲體系的層級割裂，同時催生了AI系統前所未有的內生安全風險。

具體看，多智能體系統能夠連續數小時執行對話與自主任務，全程會產生海量上下文記憶數據（KV Cache），這類數據的存放與調度成為推理性能的關鍵制約點。

不過，若將全部上下文記憶托管在顯存中，那么顯存資源會被快速占滿，大幅壓縮模型推理與并發空間；而如果將數據卸載至PCIe架構NVMe SSD，冗長的I/O軟件棧與PCIe總線延遲，又會直接阻塞推理流程，造成智能體任務卡頓、中斷。

于是，針對這一存儲架構矛盾，NVIDIA推出的BlueField-4 STX存儲機架與CMX上下文內存存儲平臺，在高速HBM與低成本冷存儲之間，構建出一層大容量、高帶寬、AI原生的共享上下文存儲層，補齊了超長上下文推理的存儲短板。

截取自：NVIDIA

在具體的落地架構中，每一顆Vera CPU與存儲節點均直連800Gb/s的BlueField-4 DPU數據處理器，承擔全鏈路的數據調度與卸載工作。當模型需要調取歷史KV緩存數據時，DPU可依托RDMA遠程直接內存訪問協議，在網絡底層則直接從STX存儲機架內存抓取數據，并以線速無損灌入GPU顯存。

整套數據調度流程徹底繞過了主機操作系統內核的TCP/IP協議棧，既不占用Vera CPU算力，也杜絕了內核態與用戶態之間的數據拷貝開銷，依靠硬件級旁路（Bypass）的極致優化，讓STX平臺的內存頁處理數量實現翻倍，最終將集群整體Token處理性能與能效同步提升。

在突破存儲性能瓶頸之外，還要解決代理式AI自主規劃、自主代碼執行能力，帶來的安全機制失效問題。

傳統端點安全依托主機系統構建信任邊界，一旦智能體遭遇Prompt Injection等惡意誘導發生越權操作，攻擊者便可從內部突破信任體系，隱蔽滲透、竊取數據、橫向擴散。

為從根源解決代理式AI的內生安全漏洞，NVIDIA將安全防御體系完全下沉至物理隔離的BlueField-4 DPU硬件層，依托DOCA軟件棧搭建起全新的芯片級零信任安全架構，實現獨立于主機、底層可控、硬件隔離的全域安全防護。

（NVIDIA BlueField-4 DPU 提供芯片內安全功能，運行速度與 AI 代理的速度相當。）

截取自：NVIDIA

作為核心底層安全能力，DOCA Argus實現了基于內存自省的運行時威脅檢測，該模塊獨立運行在DPU內部ARM核心，完全脫離主機系統管控。借助PCIe DMA直接內存訪問能力，以零拷貝（Zero-copy）、非侵入式的帶外方式，持續采集、分析主機物理內存鏡像，可精準識別Linux內核運行邏輯，通過重構虛擬內存映射（VMA）與系統頁表，在主機無感知的前提下，完整還原運行進程、Bash命令行參數與程序調用鏈路。即便攻擊者植入Rootkit隱藏惡意進程，其在物理內存中留下的執行痕跡也無法隱匿。

DOCA Argus 監控 AI 威脅檢測

截取自：NVIDIA developer

在此基礎上，NVIDIA的DOCA Vault與DOCA Flow也進一步形成存儲與網絡層面的雙重安全閉環。

DOCA Vault依托DPU存儲仿真能力（DOCA SNAP），將遠端網絡存儲虛擬為本地磁盤供主機調用，所有智能體的文件讀寫請求都會在數據抵達物理介質前被前置攔截，通過細粒度授權策略實時阻斷越權訪問與非法數據調取。

專為基于文件的 AI 原生存儲而設計的DOCA Vault數據安全框架

截取自：NVIDIA developer

DOCA Flow則將DPU轉化為高性能四層防火墻，具備精準的連接跟蹤能力，可實現機架內、跨節點的精細化微隔離（Micro-segmentation），切斷惡意負載在AI工廠集群內部的橫向移動路徑，從內存監測、存儲管控、網絡隔離三層，構筑起適配代理式AI時代的硬件級零信任安全體系。

NVIDIA 端到端AI和安全架構貫穿整個智能體 AI 工廠

截取自：NVIDIA developer

05 寫在最后：重構Token經濟學標尺

綜觀NVIDIA 的Vera Rubin及網絡、存儲、安全等全棧子系統的架構演進，可以看到，當代理式AI的快速落地，單純依靠先進制程推動晶體管微縮、提升GPU峰值FLOPS，已經難以解決復雜AI系統在數據傳輸、任務調度、存儲訪問和集群擴展中的綜合瓶頸。以單顆芯片性能提升為核心的傳統優化路徑，正在逐漸觸及天花板。

NVIDIA 的核心思路，是打通計算、網絡、存儲與安全之間長期存在的架構邊界，通過全棧協同設計釋放系統級性能。Vera CPU 通過空間多線程微架構降低復雜AI工作負載下的任務調度延遲；NVL72將整機柜中的多顆計算芯片整合為統一邏輯計算單元，進一步提升大規模訓練與推理效率；Spectrum-6 CPO技術借助硅光互連，緩解超大規模AI集群在帶寬、功耗和擴展能力上的壓力；BlueField-4 STX存儲系統結合DOCA 零信任安全架構重新定義了超長上下文數據的訪問機制，以及AI數據中心的安全邊界。

NVIDIA 覆蓋CPU微架構、先進封裝、光互連、存儲架構與安全體系的極致協同設計（Extreme Co-design），也反映出AI 基礎設施競爭邏輯的變化。行業衡量算力價值的尺度，正在從單一芯片的理論峰值性能，延伸到真實AI工作負載下的系統效率。每Token成本、每兆瓦吞吐量、集群利用率，以及端到端響應效率，正在成為衡量AI數據中心價值的關鍵指標。

未來十年，誰能以更低成本、更高能效持續生產Token，誰就能掌握AI基礎設施競爭的主動權。而NVIDIA 正通過這套全棧架構，加速建立Token的生產力“標尺”。