剛剛，亞洲黑馬交卷了！把千億大模型搬回本地，邁向Token自由

新智元報(bào)道

Agentic AI，應(yīng)該運(yùn)行在什么樣的計(jì)算底座上？

幾天過(guò)去，WAIC 2026上最擁擠的概念之一——Agent Computer——開(kāi)始從展臺(tái)上的新鮮感，變成一道真正的工程題。

讓一臺(tái)設(shè)備在本地跑起大模型，已經(jīng)不算最難的部分。更難的是，當(dāng)Agent要持續(xù)讀取文件、保留記憶、調(diào)用工具，并在后臺(tái)長(zhǎng)期運(yùn)行時(shí)，芯片能否在功耗、延遲和成本的約束下保持穩(wěn)定。

這會(huì)改寫(xiě)端側(cè)芯片的評(píng)價(jià)方式。TOPS、模型參數(shù)和每秒Token仍然重要，但如果內(nèi)存帶寬跟不上、CPU與NPU協(xié)同不順、軟件棧無(wú)法維持任務(wù)狀態(tài)，再漂亮的峰值也可能只夠完成一次Demo。

我們注意到，本周，新加坡公司Acrab舉行了一場(chǎng)線上發(fā)布會(huì)，并發(fā)布了Agent Box，這也許給出了一個(gè)可供拆解的樣本。

在這場(chǎng)發(fā)布會(huì)里，這家AI Infra公司把Prefill、統(tǒng)一內(nèi)存、CPU-NPU異構(gòu)協(xié)同和Agent編排同時(shí)擺上了臺(tái)面。

這些關(guān)鍵詞指向同一個(gè)判斷：端側(cè)AI正在從「運(yùn)行一個(gè)模型」，走向「長(zhǎng)期運(yùn)行一套智能系統(tǒng)」。

芯片要解決的，也不再只是算力夠不夠，而是數(shù)據(jù)如何流動(dòng)、任務(wù)如何調(diào)度、軟硬件如何持續(xù)協(xié)同。

所以，當(dāng)WAIC的熱鬧和新品發(fā)布、行業(yè)趨勢(shì)逐漸沉淀下來(lái)，真正值得追問(wèn)的問(wèn)題反而更清楚了：當(dāng)Agent從一次調(diào)用變成持續(xù)工作之后，端側(cè)芯片究竟要重做什么？

從一次推理到持續(xù)工作

Agent改變了端側(cè)負(fù)載

聊天機(jī)器人通常完成一輪問(wèn)答。Agent接到一個(gè)任務(wù)后，可能先搜索資料、讀取文件，再調(diào)用代碼、瀏覽器、日歷或辦公軟件；完成一部分后檢查結(jié)果，保留任務(wù)狀態(tài)，等待下一次觸發(fā)。一次任務(wù)往往涉及多輪模型調(diào)用，也會(huì)在不同模型、工具和應(yīng)用之間反復(fù)切換。

Acrab在發(fā)布會(huì)中展示了一個(gè)相對(duì)完整的任務(wù)流程：用戶提出想為孩子制作一份太空主題禮物，系統(tǒng)繼續(xù)給出創(chuàng)意、協(xié)助選擇方案、調(diào)用相關(guān)工具并跟進(jìn)制作進(jìn)度；當(dāng)環(huán)境里出現(xiàn)新的狀況，它又可以連接其他智能設(shè)備進(jìn)行處理。

這段演示的意義不在于某一次回答有多聰明，而在于一句自然語(yǔ)言能否被轉(zhuǎn)化為一串連續(xù)動(dòng)作。對(duì)于計(jì)算系統(tǒng)來(lái)說(shuō)，Agent不再只是「調(diào)用一次模型」，而是在模型、數(shù)據(jù)、軟件和設(shè)備之間持續(xù)切換。

這種工作方式首先放大了端云之間的分工。

單次推理的費(fèi)用可能不高，但調(diào)用變得高頻、持續(xù)之后，Token就會(huì)從技術(shù)指標(biāo)變成真實(shí)賬單；一次網(wǎng)絡(luò)等待對(duì)聊天影響有限，放進(jìn)多步任務(wù)中卻會(huì)逐層累積；Agent要掌握更完整的個(gè)人上下文，數(shù)據(jù)反復(fù)往返云端，也會(huì)擴(kuò)大暴露面。

因此，端側(cè)和云端并不是非此即彼。更加現(xiàn)實(shí)的結(jié)構(gòu)是：高頻、隱私敏感、需要快速響應(yīng)和長(zhǎng)期保持狀態(tài)的任務(wù)盡可能留在本地；超過(guò)設(shè)備能力邊界的復(fù)雜推理，再調(diào)用云端資源。

真正的變化在于，端側(cè)不再只承載一次模型推理，而要承載一套不能輕易中斷的智能系統(tǒng)。

它既要運(yùn)行大模型，也要處理長(zhǎng)上下文、多任務(wù)和工具調(diào)用；性能必須足夠強(qiáng)，功耗和成本又不能失控，Runtime、工具鏈和Agent生態(tài)也必須同時(shí)跟上。

端側(cè)大模型解決的是模型能不能裝進(jìn)設(shè)備，Agentic AI要解決的，則是模型、記憶、工具和應(yīng)用能不能在設(shè)備里長(zhǎng)期協(xié)同。

只堆NPU不夠

CPU、內(nèi)存和軟件棧必須一起重做

過(guò)去在CPU或SoC里增加一塊NPU，就能讓終端多出語(yǔ)音識(shí)別、圖像處理等AI能力。但當(dāng)Agent從附加功能變成設(shè)備的核心，簡(jiǎn)單增加峰值算力已經(jīng)不夠。

原因在于，Agent并不是一條固定的神經(jīng)網(wǎng)絡(luò)推理鏈路。大規(guī)模并行計(jì)算適合交給NPU，任務(wù)拆解、條件判斷、系統(tǒng)調(diào)度、工具調(diào)用、異常處理和多系統(tǒng)協(xié)作，則高度依賴CPU。任務(wù)路徑越動(dòng)態(tài)，CPU與NPU之間的協(xié)調(diào)就越重要。

Acrab CEO Ken Phua將這種變化概括為：「CPU再次回到AI時(shí)代的中心。」

在他的判斷中，AI正在進(jìn)入異構(gòu)計(jì)算環(huán)境，執(zhí)行效果不只取決于NPU性能，更取決于CPU與NPU能否無(wú)縫協(xié)同。

這也是Acrab少數(shù)值得展開(kāi)的團(tuán)隊(duì)線索。

Ken Phua曾在Arm UK帶領(lǐng)亞太應(yīng)用工程團(tuán)隊(duì)，并參與全球IP策略制定，之后擔(dān)任Arm China聯(lián)席CEO。

這段經(jīng)歷的意義并不只是行業(yè)履歷，而是解釋了這家公司為什么會(huì)從CPU架構(gòu)、異構(gòu)計(jì)算和真實(shí)應(yīng)用需求的交叉位置，重新定義Agent工作負(fù)載。

Acrab沒(méi)有把GΞLIX 1定義為一顆傳統(tǒng)AI處理器，而是將它作為端側(cè)AI時(shí)代的計(jì)算平臺(tái)。

硬件側(cè)以GΞLIX 1為核心；軟件側(cè)覆蓋大模型、優(yōu)化后的Runtime、完整工具鏈，以及連接模型、工具、設(shè)備和服務(wù)的Agent編排層；在此基礎(chǔ)上，公司還提供面向典型場(chǎng)景的Agent參考設(shè)計(jì)，幫助開(kāi)發(fā)者和生態(tài)伙伴更快構(gòu)建應(yīng)用。

Agent Box則是這套軟硬件平臺(tái)第一次以完整產(chǎn)品形態(tài)出現(xiàn)。它被定義為Personal AI Center，可以在本地運(yùn)行千億參數(shù)級(jí)模型，即使沒(méi)有網(wǎng)絡(luò)連接，也能保持核心能力。

Acrab取自Agentic Compute、Reasoning、Action與Brain的首字母，也恰是天文學(xué)中一個(gè)多恒星系統(tǒng)的名字——正如其設(shè)計(jì)哲學(xué)：讓不同的計(jì)算單元，像恒星系統(tǒng)一樣協(xié)同運(yùn)轉(zhuǎn)。

公司以此為目標(biāo)，為Agent打造一顆能思考與行動(dòng)的大腦，構(gòu)筑下一代計(jì)算平臺(tái)。

總部位于新加坡的Acrab，已累計(jì)融資超過(guò)3.5億美元，投資方包括淡馬錫旗下全球風(fēng)投平臺(tái)Vertex（祥峰投資）、新加坡知名科技投資機(jī)構(gòu)K3 Ventures等。

其第一代計(jì)算平臺(tái)GΞLIX已經(jīng)在要求嚴(yán)苛的真實(shí)部署環(huán)境中完成驗(yàn)證，目前正走向首次行業(yè)導(dǎo)入和規(guī)模化生產(chǎn)。

融資可以為重工程購(gòu)買時(shí)間，但真正決定路線能否成立的，仍然是系統(tǒng)能否交付。

從這個(gè)角度看，「CPU重新回到中心」并不意味著NPU不再重要。

恰恰相反，它意味著AI計(jì)算已經(jīng)復(fù)雜到，無(wú)法再依靠一顆孤立的加速器解決所有問(wèn)題。

700 TOPS之外

Prefill和數(shù)據(jù)通路決定真實(shí)體驗(yàn)

很多時(shí)候，大模型推理的瓶頸并不只是計(jì)算單元不夠快，而是數(shù)據(jù)來(lái)不及送到計(jì)算單元。

芯片即使擁有很高的峰值算力，如果內(nèi)存帶寬跟不上，NPU仍然要停下來(lái)等待。

Agent會(huì)進(jìn)一步放大數(shù)據(jù)搬運(yùn)問(wèn)題。它需要頻繁讀取歷史記錄，在不同模型和軟件之間傳遞數(shù)據(jù)，并持續(xù)保存任務(wù)狀態(tài)。每一次復(fù)制都會(huì)增加延遲和功耗，任務(wù)運(yùn)行得越久，系統(tǒng)設(shè)計(jì)的重要性就越高。

GΞLIX 1的設(shè)計(jì)重點(diǎn)，正是把模型需要的數(shù)據(jù)盡量留在距離計(jì)算單元更近的位置，并減少CPU、NPU、內(nèi)存和不同操作系統(tǒng)之間的來(lái)回搬運(yùn)。

按照Acrab公開(kāi)的架構(gòu)，GΞLIX 1提供大于700 TOPS的AI算力和273GB/s的統(tǒng)一內(nèi)存帶寬，芯片內(nèi)部配置8MB L1 Cache、帶寬達(dá)到768GB/s的共享L2 Cache、四顆并行NPU核心，以及針對(duì)Attention計(jì)算設(shè)計(jì)的專用加速模塊。

Acrab稱，后者可以將相關(guān)計(jì)算效率提高到三倍。

更大的片上緩存，可以讓關(guān)鍵數(shù)據(jù)離計(jì)算單元更近；共享L2 Cache讓參數(shù)和中間特征在計(jì)算單元之間高效共享；統(tǒng)一內(nèi)存架構(gòu)則減少模型、操作系統(tǒng)和應(yīng)用之間不必要的數(shù)據(jù)復(fù)制。

Acrab還采用多系統(tǒng)統(tǒng)一內(nèi)存架構(gòu)，讓不同操作系統(tǒng)更高效地共享內(nèi)存。對(duì)于只運(yùn)行一個(gè)模型的設(shè)備，這可能只是效率優(yōu)化；對(duì)于需要不斷跨應(yīng)用、跨工具工作的Agent，它會(huì)直接影響任務(wù)能不能順暢推進(jìn)。

這也解釋了為什么Acrab把Prefill放到發(fā)布會(huì)的中心位置。Agent在引入新文件、恢復(fù)任務(wù)狀態(tài)或更新上下文時(shí)，往往需要再次處理新增信息。任務(wù)鏈越長(zhǎng)，Prefill效率對(duì)整體體驗(yàn)的影響就越明顯。

在Acrab披露的一組自測(cè)中，GΞLIX 1運(yùn)行260億參數(shù)Gemma模型，使用40K KV Cache和1萬(wàn)Token輸入，Prefill速度超過(guò)每秒1416個(gè)Token；在相同負(fù)載下，其表現(xiàn)是某主流通用桌面平臺(tái)的7倍以上。

Acrab還將GΞLIX 1與一款同類桌面級(jí)AI計(jì)算平臺(tái)放在同一測(cè)試框架下比較。

數(shù)據(jù)顯示，GΞLIX 1在Prefill和Decode兩項(xiàng)核心指標(biāo)上進(jìn)入相近的性能區(qū)間，同時(shí)呈現(xiàn)出更低的功耗和更具競(jìng)爭(zhēng)力的整機(jī)成本。

Acrab選擇強(qiáng)調(diào)Prefill和數(shù)據(jù)通路，本身說(shuō)明了一種產(chǎn)品取向：端側(cè)Agent芯片不能只追求模型輸出得有多快，還要解決模型能否快速讀懂長(zhǎng)上下文、恢復(fù)任務(wù)狀態(tài)并開(kāi)始工作。

用戶不會(huì)關(guān)注一條推理鏈路內(nèi)部經(jīng)過(guò)了多少層緩存，也不會(huì)在每次交互前查看TOPS。用戶真正感受到的只有三件事：它能否迅速理解、能否持續(xù)運(yùn)行，以及擁有它是否足夠劃算。

從芯片到平臺(tái)

真正的競(jìng)爭(zhēng)在參數(shù)之外

今年WAIC出現(xiàn)的Agent Computer、個(gè)人AI中心和企業(yè)端側(cè)設(shè)備，還沒(méi)有形成統(tǒng)一的產(chǎn)品形態(tài)。

家庭場(chǎng)景更強(qiáng)調(diào)個(gè)人記憶、內(nèi)容和設(shè)備協(xié)同，企業(yè)場(chǎng)景更看重知識(shí)庫(kù)、文件處理和內(nèi)部數(shù)據(jù)安全。不同客戶對(duì)模型大小、內(nèi)存容量、功耗和接口的要求差別很大。

終端越碎片化，計(jì)算平臺(tái)就越難做。一顆芯片很難只靠參數(shù)覆蓋所有場(chǎng)景，還需要提供Runtime、模型適配、開(kāi)發(fā)工具和Agent框架，幫助客戶把底層算力轉(zhuǎn)化為能夠交付的產(chǎn)品。

這也是Agentic AI芯片比普通推理芯片多出來(lái)的一道題：芯片性能決定模型能不能運(yùn)行，軟件棧決定開(kāi)發(fā)者能不能把它用起來(lái)，Agent生態(tài)則決定設(shè)備最終能夠完成什么任務(wù)。任何一層缺失，都可能讓一顆參數(shù)漂亮的芯片停留在Demo階段。

Acrab試圖把這些環(huán)節(jié)同時(shí)抓在手里。好處是產(chǎn)品定義更加完整，風(fēng)險(xiǎn)也很直接：戰(zhàn)線很長(zhǎng)。

芯片要證明性能、穩(wěn)定性和規(guī)模化交付能力，軟件棧要追上模型的快速迭代，Agent編排層還要兼容不斷變化的工具和應(yīng)用。個(gè)人文件和長(zhǎng)期記憶留在本地之后，權(quán)限隔離、插件安全和操作審計(jì)也必須同步解決。

因此，Acrab能否成為Agentic AI時(shí)代的計(jì)算平臺(tái)，最終不取決于發(fā)布會(huì)上跑出了多少Token，也不取決于Agent Box能夠演示多少個(gè)任務(wù)。

更關(guān)鍵的驗(yàn)證是：開(kāi)發(fā)者能否在這套平臺(tái)上快速做出產(chǎn)品；Agent連續(xù)工作數(shù)小時(shí)之后，性能、功耗和穩(wěn)定性能否同時(shí)成立；當(dāng)模型和Agent框架繼續(xù)變化時(shí)，底層軟硬件能不能跟上。

架構(gòu)創(chuàng)新決定一家芯片公司的能力上限，工程化和生態(tài)則決定這個(gè)上限能不能變成訂單。

WAIC上密集出現(xiàn)的新終端，說(shuō)明行業(yè)正從「把大模型跑起來(lái)」走向「讓Agent持續(xù)工作」。前一階段比算力、內(nèi)存和模型大小；下一階段還要解決長(zhǎng)上下文、個(gè)人記憶、工具調(diào)用與多任務(wù)協(xié)同。

Acrab押注的正是這一變化。

Agent Box不是終點(diǎn)，而是一次平臺(tái)能力的公開(kāi)測(cè)試。

端側(cè)芯片需要「重做」，不是因?yàn)門OPS不重要，而是Agent正把計(jì)算從峰值數(shù)字變成長(zhǎng)期運(yùn)行的系統(tǒng)能力。它能否成立，最終要看這套芯片、軟件和終端能否進(jìn)入真實(shí)工作流。