財(cái)聯(lián)社7月21日訊(記者 付靜)“我們真正關(guān)注的是Token性價(jià)比:在保證模型效果和服務(wù)質(zhì)量的前提下,以更低的綜合成本生成更多高質(zhì)量Token。”2026世界人工智能大會(huì)(WAIC)期間,云天勵(lì)飛-U(688343.SH)方面在接受財(cái)聯(lián)社記者采訪時(shí)表示。
當(dāng)下,模型層面訓(xùn)推規(guī)模邁向萬(wàn)卡,應(yīng)用側(cè)C端多款智能體涌現(xiàn),AI進(jìn)化為生產(chǎn)生活“搭子”,B端的人工智能真實(shí)場(chǎng)景落地也在加速。在這些需求的帶動(dòng)下,產(chǎn)業(yè)鏈頻頻傳遞出“算力供不應(yīng)求”信號(hào)。
財(cái)聯(lián)社記者多方采訪獲悉,算力進(jìn)入“拼系統(tǒng)”時(shí)代,構(gòu)建超節(jié)點(diǎn)、超集群已經(jīng)成為主流做法,且收獲了下游各行業(yè)的積極反應(yīng)。與此同時(shí),TPU路線正在同步發(fā)力,華東地區(qū)首座國(guó)產(chǎn)TPU千卡智算集群已經(jīng)落成。多種方案涌現(xiàn)背后,產(chǎn)業(yè)最關(guān)心的則是Token性價(jià)比。
“超節(jié)點(diǎn)是未來(lái)幾年重點(diǎn)方向” 下游已給出積極反應(yīng)
WAIC期間,華為昇騰950超節(jié)點(diǎn)(Atlas 950 SuperPoD)真機(jī)、超節(jié)點(diǎn)集群Atlas 950 SuperCluster、首個(gè)全國(guó)產(chǎn)十萬(wàn)卡AI超集群曙光8000(登峰)真機(jī)、燧原科技與中興通訊(000063.SZ)聯(lián)合打造的正交架構(gòu)方案“云燧ESL64-O”超節(jié)點(diǎn)、阿里云磐久AL128超節(jié)點(diǎn)服務(wù)器、沐曦股份-U(688802.SH)新一代AI超節(jié)點(diǎn)曦景S600、摩爾線程-U(688795.SH)MTT C256超節(jié)點(diǎn)、壁仞科技(06082.HK)分布式解耦架構(gòu)超節(jié)點(diǎn)方案、百度智能云超節(jié)點(diǎn)“天池”等格外吸睛。
![]()
華為昇騰950超節(jié)點(diǎn) 圖片來(lái)源:財(cái)聯(lián)社記者/攝
![]()
“云燧 ESL64-O”超節(jié)點(diǎn) 圖片來(lái)源:受訪者供圖
![]()
中興超節(jié)點(diǎn)方案 圖片來(lái)源:受訪者供圖
中國(guó)電子云則發(fā)布了自研的翎樞6020輕量型、翎樞6032平衡型、翎樞6064性能型三款超節(jié)點(diǎn)產(chǎn)品。
中國(guó)電子信息產(chǎn)業(yè)集團(tuán)有限公司首席科學(xué)家、中國(guó)電子云總工程師朱國(guó)平介紹,翎樞超節(jié)點(diǎn)將千百?gòu)圙PU融合為單一邏輯超級(jí)單卡,通過(guò)Tbps級(jí)超高帶寬、百納秒級(jí)超低時(shí)延、統(tǒng)一內(nèi)存編址提升算力釋放效率。翎樞超節(jié)點(diǎn)覆蓋20-64卡黃金算力區(qū)間,相比其他超節(jié)點(diǎn)方案,優(yōu)勢(shì)在于成本更低、生態(tài)開(kāi)放,可兼容現(xiàn)有風(fēng)冷、液冷機(jī)房。
云天勵(lì)飛方面也告訴財(cái)聯(lián)社記者,公司未來(lái)三年計(jì)劃推出DeepVerse100P、DeepVerse100D和DeepVerse100L三款芯片,分別針對(duì)Prefill、Decode Attention和Decode FFN進(jìn)行優(yōu)化,未來(lái)在此基礎(chǔ)上構(gòu)建面向萬(wàn)卡異構(gòu)集群的分離式AI推理基礎(chǔ)設(shè)施。
財(cái)聯(lián)社記者采訪獲悉,產(chǎn)業(yè)鏈下游已對(duì)超節(jié)點(diǎn)、超集群產(chǎn)品有了積極反應(yīng)。中科曙光(603019.SH)方面提供的數(shù)據(jù)顯示,曙光8000集群正式上線首周即需求爆滿,應(yīng)用滿載運(yùn)行,目前日均處理作業(yè)數(shù)突破15萬(wàn)個(gè),單日處理作業(yè)峰值超過(guò)50萬(wàn)個(gè)。截至目前,曙光8000已完成近千項(xiàng)超智融合應(yīng)用適配,覆蓋大模型訓(xùn)練、高通量推理、科學(xué)計(jì)算等多個(gè)萬(wàn)卡級(jí)規(guī)模場(chǎng)景。
上線后快速滿載,意味著科研機(jī)構(gòu)、企業(yè)和開(kāi)發(fā)者對(duì)超大規(guī)模、高質(zhì)量算力的現(xiàn)實(shí)需求正在加速釋放,也表明十萬(wàn)卡級(jí)算力已開(kāi)始持續(xù)承接更加廣泛的科研和產(chǎn)業(yè)任務(wù)。
據(jù)悉,曙光8000采用全球首創(chuàng)的高密度機(jī)柜結(jié)構(gòu),單個(gè)計(jì)算單元算力密度較其他超節(jié)點(diǎn)提升20倍,在有限空間內(nèi)實(shí)現(xiàn)更高算力部署;自研scaleFabric類IB原生RDMA高速互連技術(shù),實(shí)現(xiàn)十萬(wàn)卡規(guī)模穩(wěn)定互連。
另?yè)?jù)媒體報(bào)道,華為昇騰384超節(jié)點(diǎn)目前已商用落地750多套,規(guī)模應(yīng)用于互聯(lián)網(wǎng)、運(yùn)營(yíng)商、金融、教育、醫(yī)療、交通、制造等行業(yè)。
一位算力從業(yè)者告訴財(cái)聯(lián)社記者,內(nèi)部連接是超節(jié)點(diǎn)及算力集群發(fā)展面臨的核心問(wèn)題。“超節(jié)點(diǎn)架構(gòu)、超節(jié)點(diǎn)內(nèi)部的連接,這可能是我們現(xiàn)在包括未來(lái)幾年重點(diǎn)(攻克)方向,核心是要解決GPU或TPU之間高速互聯(lián)的問(wèn)題,通過(guò)交換芯片提供單個(gè)節(jié)點(diǎn)大容量,比如可以提供64卡、128卡這種超大規(guī)模的連接,在這個(gè)基礎(chǔ)上組建更大的千卡、萬(wàn)卡集群。”
據(jù)悉,在AI算力基礎(chǔ)設(shè)施與數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)中,Scale-Up、Scale-Out和Scale-Across分別為三種不同層次的擴(kuò)展模式:Scale-Up(縱向擴(kuò)展)聚焦于超節(jié)點(diǎn)內(nèi)部的緊密耦合,Scale-Out(橫向擴(kuò)展)側(cè)重于集群之間的規(guī)模擴(kuò)張,Scale-Across(跨域互聯(lián))則致力于數(shù)據(jù)中心之間的廣域協(xié)同,旨在打破單數(shù)據(jù)中心的物理極限。
“Scale-Out相對(duì)來(lái)說(shuō)更成熟,Scale-Up的挑戰(zhàn)更大,這是我們要重點(diǎn)解決的。現(xiàn)在單個(gè)GPU Scale-Up領(lǐng)域的帶寬都達(dá)到TB的級(jí)別,單交換機(jī)的交換容量可能要達(dá)到100T以上。解決了這個(gè)問(wèn)題之后,才能組成大規(guī)模的集群。大規(guī)模集群要為芯片解決的,就是把極限帶寬提高。”前述從業(yè)者介紹。
財(cái)聯(lián)社記者也從中興通訊方面獲悉,針對(duì)AI大模型規(guī)模化落地的網(wǎng)絡(luò)升級(jí)要求,其構(gòu)建的智能算力網(wǎng)絡(luò)底座,主要聚焦Scale-Out機(jī)間網(wǎng)絡(luò)(優(yōu)化單集群內(nèi)部通信效率,實(shí)現(xiàn)穩(wěn)定降本、調(diào)優(yōu)增效)與Scale-Across跨域互聯(lián)(實(shí)現(xiàn)跨數(shù)據(jù)中心、跨地域的算力資源高效調(diào)度)兩大核心場(chǎng)景。
TPU路線同步發(fā)力 產(chǎn)業(yè)最關(guān)心Token性價(jià)比
除了近幾年持續(xù)熱門的GPU路線,財(cái)聯(lián)社記者還了解到,杭州電信、中興通訊與中昊芯英聯(lián)合打造了華東地區(qū)(杭州)首座國(guó)產(chǎn)TPU千卡智算集群,該集群亦是中國(guó)電信體系內(nèi)首個(gè)大規(guī)模國(guó)產(chǎn)TPU集群部署項(xiàng)目。
“選擇做千卡集群而不是萬(wàn)卡集群,是因?yàn)槲覀兿氚阉龀稍囼?yàn)田。我們先把千卡級(jí)的軟件棧系統(tǒng)集成到千卡集群上,在Token Factory上能提供不錯(cuò)的服務(wù),在服務(wù)逐步做透的情況下逐步開(kāi)展二期、三期。未來(lái),我們也希望逐步從千卡向萬(wàn)卡集群邁進(jìn),在萬(wàn)卡集群上運(yùn)行國(guó)產(chǎn)模型的訓(xùn)練推理,而且滿足所有商用需求所需要的性價(jià)比。”中昊芯英創(chuàng)始人、CEO楊龔軼凡告訴財(cái)聯(lián)社記者。
談及GPU與TPU兩條路線如何選擇,中國(guó)電信杭州分公司智算中心總經(jīng)理王良表示,“并不見(jiàn)得每個(gè)芯片都是全能選手,不同芯片在不同場(chǎng)景下有獨(dú)特的長(zhǎng)處,比如TPU擅長(zhǎng)做張量運(yùn)算,我們?cè)u(píng)估推理能力是TPU的長(zhǎng)處。”
王良還介紹,“上述TPU千卡集群落地后運(yùn)行得很好,尤其是今年的Token風(fēng)口起來(lái)以后,市場(chǎng)上對(duì)Token的需求量很大。最近(我們)和中昊芯英測(cè)試完P(guān)D分離,這一技術(shù)把TPU的優(yōu)勢(shì)進(jìn)一步放大,已經(jīng)比較滿足當(dāng)初的設(shè)計(jì)目標(biāo)。”
據(jù)悉,該集群基于“泰則?”智算平臺(tái)構(gòu)建,將面向大模型訓(xùn)練、AI推理、科學(xué)計(jì)算等場(chǎng)景提供全自主算力支撐,該集群二期規(guī)劃今年9月上線投產(chǎn)。“
王良進(jìn)一步談到,調(diào)優(yōu)將是一項(xiàng)非常重要的工作。他介紹,“現(xiàn)在所有的大模型廠商、芯片廠商,都是拿出百米沖刺的速度在跑馬拉松,芯片廠商每年都會(huì)發(fā)布一個(gè)新版本,而大模型廠商每個(gè)季度都會(huì)發(fā)一個(gè)新版本,這里面的適配工作量是很大的。我們?cè)诔掷m(xù)的調(diào)優(yōu)工作中發(fā)現(xiàn),從年初到現(xiàn)在,TPU集群通過(guò)調(diào)優(yōu)實(shí)現(xiàn)了超過(guò)10倍的效率提升。原來(lái)每百萬(wàn)Token的成本如果是100元,現(xiàn)在就差不多能降到10元以下。”
WAIC期間,多位受訪的算力產(chǎn)業(yè)人士均談及了Token成本問(wèn)題。
對(duì)于模型廠商、AI應(yīng)用企業(yè)和算力運(yùn)營(yíng)方而言,真正影響商業(yè)化效率的是在一定時(shí)間和成本條件下,能夠穩(wěn)定生成多少有效Token。
財(cái)聯(lián)社記者另從AI基礎(chǔ)設(shè)施及智算云提供商九章云極方面了解到,AI從技術(shù)競(jìng)賽邁向規(guī)模交付,主要面臨四個(gè)核心卡點(diǎn):算力成本高企、多芯片計(jì)價(jià)割裂、GPU利用率困于30%紅線、研發(fā)缺乏標(biāo)準(zhǔn)化體系。
據(jù)悉,九章智算云在全球范圍內(nèi)已部署12個(gè)數(shù)據(jù)中心,算力總規(guī)模約22 EFLOPS,配備6600余張GPU卡,具備日產(chǎn)64億詞元(Token)的生產(chǎn)能力。從產(chǎn)出量看,DeepSeek-V4是當(dāng)前產(chǎn)出最大的模型,日產(chǎn)24.5億TOKEN,占比38%,隨后依次為KIMI 2.5、Qwen-3.5、GLM-5、MiniMax-2.5。其彈性算力體系,已使得某頭部模型廠商的項(xiàng)目綜合成本最高節(jié)省了82.1%。
云天勵(lì)飛方面則告訴財(cái)聯(lián)社記者,降低Token成本是一項(xiàng)系統(tǒng)工程,從底層的IP、EDA、芯片設(shè)計(jì)和封裝測(cè)試,到服務(wù)器、互聯(lián)、軟件棧和算力平臺(tái),再到模型及應(yīng)用,各環(huán)節(jié)都會(huì)影響最終的Token生成效率。
據(jù)了解,目前國(guó)內(nèi)主流大模型的公開(kāi)API價(jià)格已明顯分層。根據(jù)不同模型能力和服務(wù)方式,常規(guī)文本模型的輸入價(jià)格大致為每百萬(wàn)Token幾角錢至十余元,輸出價(jià)格大致為每百萬(wàn)Token一兩元至數(shù)十元。
“現(xiàn)在的問(wèn)題不是將百萬(wàn)Token成本價(jià)格從2毛降到1毛,更多的是提升Token價(jià)值,這是算力基建和模型要協(xié)力解決的問(wèn)題。如果價(jià)值的問(wèn)題可以解決,定價(jià)2塊或10塊大家都不覺(jué)得貴。”前述算力從業(yè)者也表示。
(財(cái)聯(lián)社記者 付靜)
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.