![]()
智東西
作者 程茜
編輯 漠影
智東西7月19日報道,昨日,云天勵飛在上海世界人工智能大會(WAIC 2026)上,重磅發布AI推理基礎設施路線圖。
這也意味著云天勵飛已完成從單一AI推理芯片產品供給者,到系統級AI推理基礎設施建設者的身份轉變,國產推理算力競爭邁入系統決勝時代。
這一路線圖包含DeepVerse100P、DeepVerse100D、DeepVerse100L三款云端大算力推理芯片,以及基于這三顆芯片打造面向萬卡異構集群的分離式AI推理基礎設施,還有貫穿全鏈路的IFWA軟件棧,形成軟硬協同的完整算力體系。
本屆WAIC清晰折射出AI產業落地的核心趨勢,AI不再局限于通用對話工具,自主執行多任務的智能體成為企業數字化標配;端云協同、本地端側大模型大規模落地;算力競爭轉向芯片、集群、軟件協同的全棧系統能力較量……
應用端的多重變化下,業界對AI算力的token生成效率、單位token成本兩大關鍵指標的關注度水漲船高。
在這樣的背景下,伴隨全新AI推理路線圖,云天勵飛喊出了“百億token一分錢”的長期目標。這一目標也是當前AI算力產業的普遍共識。
一、三款推理芯片+萬卡異構集群,云天勵飛亮出AI推理底座新藍圖
大模型進入規模化落地階段,行業競爭重心從單芯片峰值算力轉向集群端到端推理效能。我們可以從云天勵飛的最新布局規劃中,能窺見這套競爭邏輯的轉變,正重塑國產AI芯片的突圍路徑。
首先是底層芯片,云天勵飛將針對未來兩年的AI推理需求,推出三款云端大算力推理芯片:DeepVerse100P、DeepVerse100D、DeepVerse100L。
這三款芯片針對的是大模型推理過程的不同場景。隨著百萬上下文大模型落地,長文檔解析、企業 RAG、AI智能體、代碼倉庫檢索等業務普及,放大了大模型推理Prefill與Decode階段的資源矛盾,二者共享算力與帶寬會發生資源搶占的情況。
因此其芯片將針對不同推理環節進行專用優化。DeepVerse100P面向百萬級上下文Prefill場景,針對傳統混部架構中長上下文Prefill與Decode共享算力、帶寬資源所造成的資源搶占問題進行優化,降低對Decode生成吞吐的影響;
DeepVerse100D面向Decode環節,重點提升內存帶寬和互聯效率,降低多節點通信阻塞及尾延遲;
DeepVerse100L面向Decode階段計算密集型的FFN環節,采用3D Memory架構,相比主流HBM提升內存帶寬,并通過低延遲芯片互聯和激活數據快速傳輸,提高計算與通信的并行效率。
![]()
芯片是第一步,下一步便是推理基礎設施。芯片可以解決單節點、單硬件層面的性能瓶頸,但其落地萬卡規模集群時,將直面更復雜的系統性工程挑戰。
當集群規模持續擴張,集群之間的跨節點通信堵塞、異構算力資源相互等待、推理尾延遲持續抬升等痛點會被放大。
基于這一判斷,云天勵飛計劃通過上述三款芯片構建面向萬卡異構集群的分離式AI推理基礎設施。
同樣,這套基礎設施將遵循大模型推理不同階段的負載特性,配置相應芯片和資源池,并通過高速互聯實現協同運行,優化邊界也從單顆芯片向外延伸,覆蓋計算、訪存、互聯、集群調度、推理軟件棧全系統環節。
芯片、系統之外,云天勵飛還在持續優化軟件棧,其打造的IFWA軟件棧覆蓋模型開發、編程及系統等不同層級,可以為模型適配、算子優化、編譯部署和軟硬件協同提供支持。
![]()
從芯片到萬卡異構集群再到軟件棧,云天勵飛的AI推理基礎設施藍圖已然成型。
二、針對AI推理負載專門優化,預計整體性能達到國際一流水平
在大模型真實推理場景中,持續穩定的能效輸出,已成為商業化落地推理算力的核心標尺。
隨著各類AI應用規模化落地,不同硬件方案間的token生成成本差距持續拉大,因此持續壓降海量token生成成本、拉升token吞吐效率,已成為行業核心競爭命題。在今年的GTC大會上,英偉達創始人、CEO黃仁勛公開提到,英偉達基于極致的協同設計,下一代Rubin+LPX方案在每兆瓦的tokens吞吐上相比Blackwell提升2倍以上,尤其在高價值的低延遲場景,提升更是高達35倍,從而在全球獲得了最低的TCO token成本。
反觀云天勵飛DeepVerse100整套方案,雖然受限于芯片工藝的代差,在免費的token生成場景,每兆瓦的tokens吞吐比Blackwell略低,但是在生產力級別的tokens生成場景,特別是高價值的低延遲場景,每兆瓦的吞吐直追Rubin+LPX,其tokens成本競爭力已經超越了英偉達Blackwell架構,逼近Rubin+LPX。
反觀云天勵飛DeepVerse100整套方案,其綜合性能已經超越了英偉達Blackwell架構。此外,無論是免費閑聊、日常通用對話,還是付費專業內容生產等高負載場景,其與英偉達新一代算力平臺Rubin+LPX的性能差距正持續收窄。
![]()
云天勵飛在AI推理算力的布局,面向的是推理賽道的終極考題:面對多元的交互負載場景,提供穩定、高效的規模化token生成方案。
如今,推理算力需求暴漲勢不可擋。AI應用從基礎通用問答,逐步延伸至深度邏輯推理、編程、智能體自主執行乃至多智能體協同作業,推理任務承載的上下文窗口長度、單次生成token總量、用戶實時交互并發頻率均同步攀升。
而在大模型推理環節的Prefill(預填充)與Decode(解碼)兩個階段,二者資源消耗邏輯不同,Prefill階段屬于算力密集型負載,需要集中處理輸入上下文,Decode階段為訪存密集型負載,會以逐token方式生成內容。這也意味著單純堆峰值算力的硬件方案,會在真實業務中出現大量算力閑置,資源利用率極低。
在這樣的背景下,一套全新的算力評價標尺正在取代單一峰值性能指標,如今算力的價值不再只看峰值性能有多高,而是每一度電、每一塊芯片能夠產出多少有效token,計算能力、內存帶寬、芯片互聯、集群調度、軟件適配和資源利用率都會對此產生影響。
云天勵飛此次全新發布的AI推理路線圖,核心邏輯就是圍繞token生成全過程,對芯片、互聯、軟件和系統進行協同設計,通過更精細的資源配置,提高推理系統的整體效率。
三、AI算力走向生態之爭,云天勵飛發起開放產業聯盟倡議
順應AI行業的降本剛需,云天勵飛給出了一套長期落地方案,將“百億token一分錢”作為目標,通過持續壓縮單token運營開銷,無限趨近算力成本的最優極限。
但想要持續壓低token成本,僅憑單一企業獨自攻關難以實現,拉動全產業鏈協同優化,才能找到兼顧效率與成本的最優解。
隨著AI大規模在千行百業落地,模型廠商、芯片企業、AI應用端企業之間的壁壘加速消融,模算協同、軟硬共生成為常態。
產業上下游玩家在研發過程中,若模型開發不考量芯片存儲帶寬、芯片設計不貼合真實推理負載、技術研發脫離線下業務場景,最終會導致硬件利用率不足、落地成本居高不下,大量算力資源被無端浪費。
因此,脫離硬件適配的模型是空談,缺少模型調校的芯片難發揮實力,沒有真實場景持續反哺的技術走不通商業閉環,上下游綁定共生已是必然選擇。
面對產業協同剛需與token降本長期目標,云天勵飛同步發起“1001計劃”,聯動芯片設計、IP與EDA、封裝測試、服務器與互聯、軟件棧、算力平臺、模型、應用及科研機構等全鏈條主體。
其希望通過這一計劃建立長期生態合作機制,推動產業鏈各方圍繞共同技術標準、軟件適配、場景驗證和產業應用形成更加緊密的協作。
AI產業競爭核心與整條產業鏈的協同效率息息相關。在國產AI芯片重要性日漸提升的背景下,AI產業上下游的芯片、軟件、模型、應用玩家,正加速協同形成正向循環,最終實現AI算力普惠,加速AI規模化落地。
結語:AI算力競爭焦點變了:國產AI算力給出推理降本終極方案
云天勵飛的整套AI推理基礎設施,旨在破解算力資源錯配、有效算力利用率不足等行業痛點,通過軟硬件協同持續優化單位token成本。
推理普惠競爭日益激烈,當通用算力難以適配碎片化推理負載,分層芯片、異構集群、原生軟件棧組成的全棧方案,或成為穿越周期的解題思路。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.