萬億大模型推理時(shí)代，深明奧思的LPU芯片解法

【摘要】AI芯片的競爭正在轉(zhuǎn)向"誰能把每個(gè)token算得更便宜"。深明奧思LPU是面向大語言模型推理流程重新設(shè)計(jì)的計(jì)算架構(gòu)，通過數(shù)據(jù)流計(jì)算、軟硬協(xié)同和板卡級交付，解決低延遲、高安全、低功耗的本地推理需求。

01 從搶GPU到算token

過去兩年，AI產(chǎn)業(yè)的核心敘事圍繞GPU展開。但當(dāng)大模型走向企業(yè)與終端，一個(gè)核心矛盾浮現(xiàn)：訓(xùn)練是一次性研發(fā)投入，推理卻是每天持續(xù)發(fā)生的運(yùn)營成本。

tokens/s、tokens/W、上下文長度、部署成本——這些推理側(cè)指標(biāo)，正取代參數(shù)規(guī)模成為產(chǎn)業(yè)關(guān)注焦點(diǎn)。一個(gè)智能體如果每天調(diào)用上千次模型，單位token的經(jīng)濟(jì)性就是核心約束。這也是LPU——LLM Processing Unit——在當(dāng)下變得重要的原因。

端側(cè)推理同樣在被重新定義。過去說端側(cè)AI，很多人聯(lián)想到耳機(jī)、手機(jī)、座艙語音這類輕量任務(wù)。但深明奧思創(chuàng)始人張強(qiáng)指出，真正高價(jià)值的端側(cè)推理將出現(xiàn)在政務(wù)、金融、律所、研發(fā)、制造、醫(yī)療等場景：數(shù)據(jù)不能上云、知識產(chǎn)權(quán)不能外泄、延遲不能不可控。AI一旦從聊天工具變成生產(chǎn)工具，采購邏輯就成立——只要它能在數(shù)月內(nèi)創(chuàng)造足夠回報(bào)。這些場景對芯片的要求不是更萬能，而是在成本、功耗、帶寬與本地化之間取得更優(yōu)平衡。

未來MoE模型和長上下文將進(jìn)一步抬高帶寬與存儲需求。以傳統(tǒng)低功耗小芯片的思路做端側(cè)大模型，架構(gòu)定義層面即存在先天瓶頸。AI基礎(chǔ)設(shè)施將形成云端、邊緣端和設(shè)備端并存格局：云端負(fù)責(zé)大規(guī)模算力調(diào)度，邊緣與設(shè)備端承擔(dān)低延遲、高安全的本地推理任務(wù)。

02 LPU的推理架構(gòu)邏輯

判斷一顆芯片是否真正面向大模型推理設(shè)計(jì)，不能只看它是否被冠以"LPU"之名，更要看其計(jì)算方式、數(shù)據(jù)通路和軟件棧是否發(fā)生了系統(tǒng)性變化。深明奧思LPU的架構(gòu)邏輯，可以從一個(gè)核心轉(zhuǎn)變說起。

傳統(tǒng)通用計(jì)算架構(gòu)在運(yùn)行時(shí)不斷處理任務(wù)調(diào)度、緩存命中和執(zhí)行順序等問題。LPU的設(shè)計(jì)理念則反其道行之：面向大模型推理中相對穩(wěn)定、重復(fù)且?guī)捗舾械挠?jì)算路徑，在編譯期提前規(guī)劃計(jì)算圖、數(shù)據(jù)通路和存儲分配，讓數(shù)據(jù)沿預(yù)設(shè)路徑持續(xù)流動，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動的執(zhí)行觸發(fā)（data-driven execution）。換言之，LPU不是在運(yùn)行時(shí)"見招拆招"，而是在編譯期就把推理全程的"劇本"寫好。對Transformer這類逐層前向推進(jìn)的模型，這種方式天然貼合其執(zhí)行過程——權(quán)重、激活值、KV cache可被組織為連續(xù)、可預(yù)測的數(shù)據(jù)流，從而提升有效帶寬利用率并穩(wěn)定推理延遲。

之所以強(qiáng)調(diào)帶寬利用率，是因?yàn)榇竽Ｐ屯评淼恼嬲款i往往不在算力本身，而在存儲層級間的冗余數(shù)據(jù)搬移。GPU/NPU也會通過緩存層級和片上SRAM提升數(shù)據(jù)復(fù)用，但它們需要兼顧廣泛的任務(wù)形態(tài)。LPU的差異在于圍繞prefill、decode、KV cache訪問和矩陣/向量算子進(jìn)行專項(xiàng)優(yōu)化，通過自研數(shù)據(jù)流通路減少DDR到計(jì)算陣列間的搬運(yùn)開銷。根據(jù)公司架構(gòu)設(shè)計(jì)目標(biāo)，LPU在典型推理負(fù)載下有效帶寬利用率目標(biāo)達(dá)85%以上。在長上下文和連續(xù)decode場景中，這一指標(biāo)直接決定單位token的能效和成本。

但僅有硬件層面的優(yōu)化遠(yuǎn)遠(yuǎn)不夠。大模型演進(jìn)速度極快——模型結(jié)構(gòu)、算子形態(tài)、量化方式、MoE路由和上下文長度都在持續(xù)變化。如果芯片仍沿用"硬件先行、軟件補(bǔ)課"的模式，量產(chǎn)時(shí)就可能已經(jīng)落后于模型生態(tài)。因此，深明奧思讓指令集、編譯器、運(yùn)行時(shí)與硬件架構(gòu)從立項(xiàng)起并行設(shè)計(jì)。編譯器負(fù)責(zé)將模型計(jì)算圖映射到芯片內(nèi)部的數(shù)據(jù)流和執(zhí)行單元上，在編譯期確定調(diào)度方式，減少運(yùn)行時(shí)不確定性。這也是LPU最核心的壁壘——不在于芯片設(shè)計(jì)本身，而在于能否通過編譯器將模型結(jié)構(gòu)轉(zhuǎn)化為高效、穩(wěn)定、可預(yù)測的硬件執(zhí)行過程。對智能體和企業(yè)本地大模型等應(yīng)用，推理體驗(yàn)不僅取決于平均tokens/s，更取決于token輸出的穩(wěn)定性和延遲的可控性。

在具體計(jì)算單元上，深明奧思采用矩陣計(jì)算單元（MMA）與向量處理單元（VPU）異構(gòu)協(xié)同的方式。矩陣乘法是Transformer推理最核心的算子，由專用MMA高效執(zhí)行；而歸一化、激活函數(shù)、MoE路由等靈活算子，以及未來不斷演進(jìn)的新算子，則由基于RISC-V向量擴(kuò)展的自研VPU承擔(dān)——既保持專用加速效率，又保留對模型變化的適配彈性。

03 占住端側(cè)智能入口

中國AI芯片若正面復(fù)制GPU路線，將受制于先進(jìn)制程、HBM供應(yīng)、CUDA生態(tài)和超大資本開支。深明奧思選擇從端側(cè)大模型推理切入——客戶要低延遲、數(shù)據(jù)安全、能跑大模型、快速部署、穩(wěn)定運(yùn)行。這些需求不需要萬能GPU，而需要專門面向推理的板卡級方案。

因此深明奧思不只賣芯片，而強(qiáng)調(diào)核心板卡和系統(tǒng)級交付。對B端客戶而言，真正有價(jià)值的是：插上板卡、加載模型、通過OpenAI-compatible API接入現(xiàn)有應(yīng)用，在本地完成推理。只有走到這一層，芯片公司才真正進(jìn)入客戶的業(yè)務(wù)流程。

公司目前聚焦的方向——AI一體機(jī)、企業(yè)本地大模型、coding工作站、具身智能、政務(wù)金融法律等場景——共同指向"高價(jià)值本地推理"。其中具身智能尤其值得關(guān)注：當(dāng)前機(jī)器人展示的多是運(yùn)動能力（"小腦"），但未來分水嶺在"大腦"——理解上下文、拆解任務(wù)、實(shí)時(shí)推理與決策。據(jù)公開資料，深明奧思已與萬通智控在該方向展開合作。

公司成立于2025年，已完成第一代LPU芯片功能設(shè)計(jì)，計(jì)劃于2026年流片。團(tuán)隊(duì)在研發(fā)中系統(tǒng)性使用AI工具輔助芯片驗(yàn)證和軟件開發(fā)，由工程師定義架構(gòu)目標(biāo)和判斷邊界，AI輔助局部實(shí)現(xiàn)，從而以更小團(tuán)隊(duì)實(shí)現(xiàn)更高研發(fā)效率。未來AI芯片公司比拼的不只是架構(gòu)效率，也包括研發(fā)組織效率——更快理解模型變化，把變化翻譯成指令集、編譯器和產(chǎn)品定義，才有可能避免量產(chǎn)即落后。

04 尾聲

計(jì)算架構(gòu)的演進(jìn)從來不是憑空發(fā)生。CPU讓出圖形渲染，GPU無法包打一切——每一代新架構(gòu)的出現(xiàn)，都是新應(yīng)用將舊架構(gòu)的成本結(jié)構(gòu)逼到極限。今天大模型推理正在扮演這個(gè)角色。

當(dāng)AI進(jìn)入辦公桌、工作站、機(jī)器人和車端，所有推理最終都?xì)w結(jié)為一筆賬：每個(gè)token多少錢，每瓦多少智能，每毫秒延遲損失多少體驗(yàn)。LPU的價(jià)值在于從架構(gòu)層面重算這筆賬——不取代GPU，而是在低延遲、確定性、本地化部署和token成本敏感的場景中，提供更專門化的路徑。

未來AI基礎(chǔ)設(shè)施大概率不會是一種芯片統(tǒng)治一切，而是訓(xùn)練、云端推理、端側(cè)推理各自形成精細(xì)的硬件分工。深明奧思這樣的中國LPU芯片公司，將在其中扮演什么角色，值得期待。