清華系團(tuán)隊(duì)發(fā)布國產(chǎn)Token優(yōu)化工廠：兼容10余種國產(chǎn)芯片，日吞吐千億Token

允中 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

AI基礎(chǔ)設(shè)施的競(jìng)賽規(guī)則，正在被改寫。

上半場(chǎng)比的是誰的卡多，下半場(chǎng)比的是誰能把卡用好

7月17日，WAIC 2026上海開幕，智算賽道200多家企業(yè)同臺(tái)，新品密集發(fā)布。

但在一片“曬芯片、秀參數(shù)”的聲浪里，是石科技的發(fā)布會(huì)卻顯得有些不同：

是石科技創(chuàng)始人兼董事長閆博文在臺(tái)上，不講芯片，不講模型，只講一個(gè)詞：效率

△WAIC 2026是石科技創(chuàng)始人兼董事長閆博文新品發(fā)布現(xiàn)場(chǎng)

因?yàn)橹袊乃懔Γ诒淮罅坷速M(fèi)——50多個(gè)智算中心，超過1000 EFLOPS的智能算力規(guī)模，平均利用效率卻遠(yuǎn)遠(yuǎn)沒有跑滿。

算不快、長上下文響應(yīng)下降，是普遍現(xiàn)象。

是石給出的解法，叫拓元（Vectron），一座國產(chǎn)Token優(yōu)化工廠

效率，才是未來AI基礎(chǔ)設(shè)施的關(guān)鍵詞

中國已建設(shè)50多個(gè)智算中心，智能算力總規(guī)模已超過1000 EFLOPS。

但平均利用效率仍有巨大提升空間。

“大量算力正在被浪費(fèi)，算不快、長上下文多模態(tài)響應(yīng)下降，是普遍現(xiàn)象。”閆博文說。

是石科技依托國家級(jí)計(jì)算中心工程經(jīng)驗(yàn)積淀，持續(xù)投入大規(guī)模集群研發(fā)，建設(shè)萬卡級(jí)國產(chǎn)大集群，持續(xù)穩(wěn)定運(yùn)營，優(yōu)化推理效率，構(gòu)筑了深厚壁壘，率先打通從底層芯片到上層應(yīng)用的超智融合全鏈路，真正把國產(chǎn)大集群從“點(diǎn)亮”變成“跑滿”，讓龐大國產(chǎn)算力切實(shí)轉(zhuǎn)化為產(chǎn)業(yè)可用的Token穩(wěn)定生產(chǎn)力。

“所以我們?cè)谥匦滤伎迹?strong>算力基礎(chǔ)設(shè)施建設(shè)提速的同時(shí)，如何進(jìn)一步釋放算力價(jià)值？”閆博文認(rèn)為，“十五五”期間，中國算力產(chǎn)業(yè)總投資預(yù)計(jì)達(dá)到7萬億元。

如果算力利用效率能夠提升十到二十個(gè)百分點(diǎn)，也將釋放萬億級(jí)的算力價(jià)值空間，會(huì)讓各行各業(yè)以更低的成本進(jìn)入到AI的世界里，激發(fā)出更多的應(yīng)用需求。

這背后的一個(gè)潛臺(tái)詞是行業(yè)共識(shí)的轉(zhuǎn)折：AI基礎(chǔ)設(shè)施的競(jìng)爭(zhēng)，正從“算力規(guī)模競(jìng)賽”轉(zhuǎn)向“算力效率競(jìng)賽”。

未來AI基礎(chǔ)設(shè)施的關(guān)鍵，不只在于芯片數(shù)量，更在于能否將芯片、互聯(lián)、內(nèi)存、散熱、調(diào)度與軟件棧整合為穩(wěn)定可用的大規(guī)模系統(tǒng)

拓元，正是是石科技為這場(chǎng)“效率競(jìng)賽”交出的系統(tǒng)性答卷。

讓每一份算力，轉(zhuǎn)化為穩(wěn)定、高效、有價(jià)值的Token

目前AI基礎(chǔ)設(shè)施面臨的效率難題主要包括：異構(gòu)算力難以統(tǒng)一調(diào)度、大模型推理缺乏深度優(yōu)化、長上下文導(dǎo)致顯存與成本壓力驟增、國產(chǎn)芯片生態(tài)適配成本高昂等。

針對(duì)這些痛點(diǎn)，拓元不應(yīng)只是一個(gè)模型，也不只是一個(gè)工具。是石科技希望打造的，是一套完整的AI Infra優(yōu)化體系

具體來說——

在任務(wù)自適應(yīng)優(yōu)化上：依托請(qǐng)求畫像匹配最優(yōu)計(jì)算鏈路，算力按需分配，減少資源浪費(fèi)。

不同的推理任務(wù)自動(dòng)匹配最合適的算力資源，而不是“一把抓”。

• 在算子庫優(yōu)化上：硬件專屬算子融合編譯，充分釋放芯片極限算力。這意味著每顆國產(chǎn)芯片不再只是“能用”，而是被“榨”出了最優(yōu)性能。
• 在模型與推理框架優(yōu)化上：兼容主流國產(chǎn)芯片與大模型，異構(gòu)深度調(diào)優(yōu)，提升業(yè)務(wù)并發(fā)量。
• 在異構(gòu)集群調(diào)度上：破除跨地域、多芯片算力孤島，統(tǒng)一納管調(diào)度，盤活閑置算力。

閆博文介紹，拓元全面兼容昇騰、昆侖芯、天數(shù)智芯、太初、瀚博半導(dǎo)體、摩爾線程、沐曦、燧原等10余種國產(chǎn)算力芯片，適配20余個(gè)主流模型，實(shí)現(xiàn)國產(chǎn)異構(gòu)算力池的統(tǒng)一調(diào)度與推理加速，每日Token吞吐量達(dá)千億級(jí)別。

對(duì)于企業(yè)客戶而言，這意味著不管你的底層跑的是什么國產(chǎn)芯片，拓元都能讓你的算力資源池被統(tǒng)一管理、優(yōu)化調(diào)度，最終產(chǎn)出更多可用的Token。

用核心技術(shù)突破，把算力“榨”到極致

發(fā)布會(huì)上，閆博文重點(diǎn)介紹了拓元的多項(xiàng)核心技術(shù)突破，每一項(xiàng)都指向企業(yè)使用大模型過程中的真實(shí)痛點(diǎn)。

KV Cache壓縮：讓長文本不再燒錢

企業(yè)使用大模型時(shí)面臨一個(gè)現(xiàn)實(shí)的問題，就是模型越來越強(qiáng)，運(yùn)行成本也越來越高。

尤其當(dāng)上下文變長時(shí)，顯存壓力急劇攀升。

傳統(tǒng)方法更多依賴輸入階段判斷信息價(jià)值，但在真實(shí)業(yè)務(wù)中，模型需要關(guān)注往往動(dòng)態(tài)變化的是什么。

拓元的結(jié)果感知驅(qū)動(dòng)KV Cache壓縮技術(shù)，可以在不犧牲模型效果的前提下，顯著壓縮KV Cache、降低顯存壓力，讓長文本、大規(guī)模AI應(yīng)用真正能夠經(jīng)濟(jì)地運(yùn)行。

全模態(tài)推理的Token壓縮：讓AI學(xué)會(huì)抓重點(diǎn)

在大模型運(yùn)行過程中，并不是所有信息都具有同等價(jià)值。

如何保留關(guān)鍵Token、減少無效計(jì)算，是效率提升的核心命題。

拓元在全模態(tài)場(chǎng)景中提出了基于模態(tài)自適應(yīng)的免訓(xùn)練Token壓縮方法，針對(duì)文本、視頻、語音等不同輸入，實(shí)現(xiàn)更加精準(zhǔn)的信息篩選。

這意味著未來AI可以用更少計(jì)算完成更復(fù)雜任務(wù)，可以預(yù)見的是，在多模態(tài)時(shí)代，這個(gè)能力會(huì)越來越重要。

長上下文優(yōu)化：百萬級(jí)信息的高效處理

企業(yè)知識(shí)庫、智能助手、復(fù)雜分析任務(wù)，越來越多場(chǎng)景要求模型具備超長記憶能力。

拓元通過混合位置索引合成的長上下文偏好訓(xùn)練方法，以及記憶引導(dǎo)的重讀機(jī)制，在遠(yuǎn)小于同類方法的訓(xùn)練數(shù)據(jù)量下實(shí)現(xiàn)了顯著效果提升。

可靠深度推理：讓AI學(xué)會(huì)自我優(yōu)化

傳統(tǒng)的大模型部署后，往往需要大量人工反饋來持續(xù)優(yōu)化輸出質(zhì)量，這就像養(yǎng)了一個(gè)需要不斷投喂、調(diào)教的系統(tǒng)。

拓元提出的“基于元獎(jiǎng)勵(lì)的可擴(kuò)展獎(jiǎng)勵(lì)建模方法”突破了這個(gè)難題。

閆博文將其比喻成從“養(yǎng)一個(gè)需要不斷人工訓(xùn)練的AI”變成“部署一個(gè)能夠持續(xù)自我優(yōu)化的AI系統(tǒng)”。

對(duì)于企業(yè)來說，這意味著AI落地成本的大幅降低。

系統(tǒng)能夠理解企業(yè)標(biāo)準(zhǔn)，在復(fù)雜業(yè)務(wù)場(chǎng)景中持續(xù)輸出穩(wěn)定、可靠、符合要求的結(jié)果。

智能體長程任務(wù)記憶機(jī)制：確保長程agent任務(wù)的穩(wěn)定執(zhí)行

智能體在執(zhí)行長程檢索任務(wù)時(shí)，有時(shí)會(huì)無法判斷缺失信息或未讀到的，是已經(jīng)被丟棄還是不存在的，從而產(chǎn)生負(fù)面影響。

拓元明確了以目標(biāo)導(dǎo)向的信息記憶策略，突破稀疏信息難監(jiān)測(cè)、長程建模受限資源限制、注意力機(jī)制的二次復(fù)雜度開銷大的難題。

閆博文表示，拓元可以幫助模型實(shí)現(xiàn)更低訓(xùn)練成本，更高上下文理解能力，更強(qiáng)復(fù)雜推理能力

我們希望AI不只是能夠回答問題，而是能真正理解復(fù)雜世界。

△是石科技國產(chǎn)Token優(yōu)化工廠“拓元”Vectron產(chǎn)品亮點(diǎn)

從技術(shù)到產(chǎn)品的關(guān)鍵一躍

是石科技成立于2021年，創(chuàng)始團(tuán)隊(duì)源自清華大學(xué)計(jì)算機(jī)系，具備國家級(jí)計(jì)算中心工程化經(jīng)驗(yàn)。

閆博文本人是清華大學(xué)航院博士、計(jì)算機(jī)系博士后，核心成員主要由高性能計(jì)算、人工智能等領(lǐng)域的資深專家，以及清華大學(xué)、北京大學(xué)、北京航空航天大學(xué)等重點(diǎn)高校學(xué)者組成。

過去幾年，公司快速成長，已服務(wù)超過200家重點(diǎn)客戶，覆蓋互聯(lián)網(wǎng)大廠、頭部大模型公司、航空航天、生物制藥、新能源等行業(yè)，在并行優(yōu)化、算力調(diào)度等業(yè)務(wù)上形成了深厚的技術(shù)護(hù)城河。

拓元的發(fā)布，意味著是石科技將領(lǐng)先的技術(shù)能力凝結(jié)成了一個(gè)商業(yè)化和標(biāo)準(zhǔn)化的產(chǎn)品，駛上了規(guī)模化發(fā)展的快速路。

閆博文在發(fā)布會(huì)上強(qiáng)調(diào)：

技術(shù)創(chuàng)新的最終目的，不是停留在實(shí)驗(yàn)室，而是創(chuàng)造產(chǎn)業(yè)價(jià)值。

不僅如此，拓元也再次明確了是石科技獨(dú)特的賽道占位。

國產(chǎn)芯片生態(tài)的成熟需要“中間件”，未來中國AI產(chǎn)業(yè)必然需要構(gòu)建自主可控的技術(shù)體系。

像拓元這樣能夠統(tǒng)一管理異構(gòu)資源、屏蔽底層差異的平臺(tái)，是國產(chǎn)算力生態(tài)走向“好用”的關(guān)鍵拼圖。

在算力效率這個(gè)命題上，當(dāng)大多數(shù)人還在討論該怎么做的時(shí)候，是石科技已經(jīng)把產(chǎn)品擺到了WAIC的展臺(tái)上，也打開了公司從算力服務(wù)到Token服務(wù)的商業(yè)化新空間。

閆博文在本次發(fā)布會(huì)結(jié)尾說：

對(duì)于我們這些技術(shù)出身的人來講，最希望聽到的聲音就是兩種，第一是每次交付給客戶的大規(guī)模集群，滿負(fù)荷跑起來發(fā)出的萬卡集群的轟鳴聲；
第二就是我們每次幫用戶優(yōu)化終極效果之后，客戶對(duì)我們的高度評(píng)價(jià)。
這兩種聲音我們認(rèn)為也是未來中國的AI走得更強(qiáng)、走向世界的最強(qiáng)音。

*本文系量子位獲授權(quán)刊載，觀點(diǎn)僅為原作者所有。