推理浪潮來襲，AI網絡如何應對新一輪基礎設施挑戰

過去幾年，AI基礎設施的討論大多聚焦于大規模模型訓練。各大AI公司為開發前沿模型所建設的訓練工廠規模驚人：數十萬塊GPU、堪比中型城市的電力消耗，以及每秒數十拍比特的跨園區傳輸帶寬。

然而，隨著AI應用加速普及，一個更大的基礎設施挑戰正逐漸浮出水面。來自AI需求側的持續壓力——推理——正成為新的核心議題。

推理是指每次用戶向聊天機器人提問、將文件上傳至生產力工具進行分析，或在郵箱和搜索結果中獲取AI摘要時所觸發的計算過程。單次查詢產生的流量本身微乎其微，但將其乘以全球范圍內與AI交互的用戶數量——加上越來越多涉及視頻、圖像和附件的請求——下一個網絡需求的主要驅動力便清晰顯現。

與訓練階段不同，推理的增長曲線更加陡峭、分布更廣、覆蓋全球，這正在重塑數據中心互聯的設計方式，以及連接云區域、城域網和跨洲際骨干的整體網絡生態。

推理需求的爆炸式增長

比用戶主動擁抱AI更具威力的，是AI功能被嵌入數十億用戶已在使用的平臺所產生的復合效應。

如今，AI能力已深度集成于搜索引擎、電子郵件、辦公軟件、地圖、社交信息流和智能手機之中。這種嵌入方式確保了AI功能的即時觸達和全球覆蓋，也帶來了不可避免的海量使用。

推理量的增長因此十分驚人。以谷歌為例，該公司報告稱，其每月處理的AI Token數量在2025年初實現了同比50倍的增長，僅兩個月后又翻了一番，并在2026年4月發布的季度報告中顯示，Token處理量環比增長60%，增速依然驚人。

硬件與算法層面的效率提升在一定程度上緩解了對額外資源的需求，但遠未能覆蓋全部增量。為了承載不斷增加的推理量，需要加快部署新的GPU算力，推理數據中心的數量也在迅速增加，且分布于更多地理位置。

這種地理分布，正是推理不僅僅是算力問題、更是網絡問題的第一個原因。

推理流量：從輕量到主導

過去，AI對互聯網整體流量的貢獻十分有限。一條文字提問加一條文字回復，不過幾千字節，與一分鐘視頻流相比幾乎可以忽略不計。

但這一現狀正在迅速改變。

多模態模型能夠分析和生成圖像、音頻、視頻和三維內容。用戶上傳一段高清短視頻進行分析或編輯，幾秒鐘內便會產生數兆字節的上行流量。研究人員、學生和企業用戶也越來越多地將大量文檔輸入模型，以提煉核心發現并生成詳細報告。基于云端的視頻分析服務可處理攝像頭實時畫面并提供洞察和預警，這類應用也正逐漸形成可行的商業模式。

將這些交互乘以數億乃至數十億用戶，推理流量便成為分布式、普遍性網絡流量的重要驅動力。

推理模型帶來第二層壓力。與即時生成回復不同，推理模型會將問題拆解為多個內部步驟，并實時調用相關信息。用戶看到的一個最終答案，背后可能涉及數十次后臺檢索，產生大量跨數據中心的數據傳輸。

此外，上下文窗口的持續擴展也在增加網絡壓力。前沿模型現已能夠處理超大規模的輸入內容，包括完整的文檔集合、對話歷史和檢索知識庫。檢索增強生成已成為企業AI應用的主流技術，每次查詢都需要將上下文知識注入模型提示詞，進一步放大了網絡負載。

綜合來看，推理已不再是輕量級的網絡任務，而是正在成為數據中心間及用戶與AI基礎設施間流量增長的主要驅動因素。

推理驅動的網絡互聯需求

AI模型現已分布于多個區域，使用信號和強化學習反饋需要回流至集中式智能系統。多步驟、分布式的推理工作流越來越多地跨站點運行，各站點承擔不同角色：一類專注于高算力、大上下文處理的預填充，另一類則側重于低延遲Token生成與內存緩存效率的解碼。與此同時，主權AI的合規要求推動工作負載向特定司法管轄區集中，進一步增加了需要高容量、高可靠性互聯的設施數量。

典型的推理數據中心互聯鏈路已達每路多太比特每秒的傳輸速率。隨著更具彈性和多樣化的互聯拓撲的部署，以及推理型AI數據中心在數量和地理分布上的快速擴張，路由數量與單路容量都在同步增長。

推理數據中心的互聯只是方程式的一側，另一側則是將用戶、智能體、設備和組織連接至這套網狀基礎設施以運行推理工作負載。多云接入正不斷演進，以支持企業大規模數據集在AI平臺間的流轉。更對稱的寬帶接入和可擴展的匯聚能力，將為普及化攝像頭向AI云端上傳視頻進行分析提供支撐。整個網絡生態都需要隨之適應。

網絡運營商與服務提供商如何應對這一趨勢？

網絡運營商的應對之道

網絡運營商已在圍繞可擴展性、靈活性、效率和安全性展開規劃布局。為最大化每對光纖的傳輸容量——這一資源從未像今天這樣珍貴且備受追捧——運營商正在采用支持每波長1.6 Tb/s的相干光平臺和系統。

以Lumen Technologies為例，這家網絡提供商正在面向未來大規模擴展網絡，借助高帶寬1.6 Tb/s相干收發器加快建設步伐。

此外，推理流量模式多變且多樣，使得靜態網絡難以滿足需求。許多運營商因此轉向AI輔助的多層網絡控制，以實現近實時的容量調度和性能優化。Lumen同樣是這一方向的典型代表，借助完善的控制套件，該運營商實現了對光纖資產的全面可視化，并通過統一控制點最大化資源利用率和性能表現。

此外，由于推理流量通常涉及敏感數據，網絡運營商正在所有新部署的數據中心互聯方案中，將光層加密作為標準配置融入其中。

推理工作負載的演進速度已超出任何預測模型的能力范圍。未來五年最具競爭力的網絡，將是那些無需在每次工作負載激增時進行大規模改造，就能在容量、覆蓋范圍和智能化程度上持續擴展的網絡。

訓練定義了AI基礎設施建設的第一波浪潮，推理正在塑造第二波——這一波更加全球化、更加復雜，將深刻改變整個網絡格局。

Q&A

Q1：AI推理流量為什么會快速增長，和訓練流量有什么區別？

A：AI訓練流量集中在少數超大規模數據中心，屬于階段性、集中式的高強度負載。而推理是每次用戶與AI交互時實時觸發的，隨著AI功能嵌入搜索、郵件、辦公軟件等數十億用戶使用的平臺，推理請求的頻次和規模呈指數級擴張。多模態模型的普及讓單次推理流量從幾千字節躍升至數兆字節，推理因此正成為全球網絡流量增長的主要驅動力。

Q2：檢索增強生成技術為什么會增加網絡壓力？

A：檢索增強生成是一種主流的企業AI應用技術，每次用戶發起查詢時，系統都需要從外部知識庫中檢索相關內容，并將其注入模型的提示詞中。這意味著每次推理不只是簡單的請求-響應，而是涉及多次數據檢索和跨系統傳輸，大量數據需要在模型、存儲系統和外部數據源之間流轉，很多情況下還會跨越數據中心邊界，顯著增加了網絡負載。

Q3：網絡運營商如何應對AI推理帶來的帶寬壓力？

A：運營商主要從三個方向入手：一是采用每波長1.6 Tb/s的相干光傳輸技術，最大化現有光纖資源的利用率；二是引入AI輔助的多層網絡控制系統，實現近實時的容量動態調度和性能優化；三是在數據中心互聯部署中將光層加密作為標準配置，保障推理流量中敏感數據的安全傳輸。Lumen Technologies是上述技術實踐的典型代表。