把“Token工廠”搬回家，是不是一場好生意

出品｜虎嗅科技組

作者｜陳伊凡

編輯｜苗正卿

頭圖｜AI生成

這是虎嗅WAIC“追蹤Token商業新范式”系列文章第17期。

關于 AI算力的故事，通常以十億美元為單位講述——數據中心、萬卡集群、只有巨頭才付得起的賬單。后摩智能的故事是一個例外：它關乎每一個人。

2026年，深圳華強北的電子市場里出現了一種新物種：巴掌大小的鋁合金盒子，內置一顆10瓦功耗的芯片，卻能運行千億參數的大語言模型。這個需求，在OpenClaw出來之后，被推向了高點。

聯想在此基礎上推出了 AI 主機P7，長城電腦發布了 N90Pro AI PC。一個全新的硬件品類正在成形——Agent Computer：專為 AI 設計的硬件載體。

這類端側設備的心臟，是一顆存算一體芯片，來自一家叫做后摩智能的公司。

如果不是大模型引發的指數級推理需求，市場或許很難注意到后摩智能和存算一體。這家公司至今成立6年，成立前兩年，驗證了存算一體做大算力端邊AI芯片的商業路徑的可行性，2023年，押注大模型。那對后摩而言是一個關鍵節點。這一次，和CEO吳強聊天里，能感受到語氣里的高昂和希望。

傳統芯片的工作方式，像是一輛跑車必須不停地在倉庫和賽道之間往返拉貨——每跑一圈計算，就得回倉庫取一趟數據，再開回來。路上花的時間和油錢，比真正跑圈的還多。過去這不是問題，因為貨少，跑幾趟就夠了。但 AI 計算的數據量是爆炸性的，相當于每秒鐘要跑幾十萬趟，高速公路再寬，也堵死了。英偉達的 GPU 相當于把公路從四車道拓寬到幾十車道，確實快了，但車還是得跑，油還是得燒。

存算一體的思路是：既然搬數據是瓶頸，那就不搬了。把計算直接放到存儲內部去做，數據原地不動就能完成運算。吳強打過一個比方：GPU 通用性更好，它除了做 AI 還可以做天氣預報、原子彈仿真。但讓存算一體芯片做天氣預報，非常不合適，可是做神經網絡，不管是 CV 還是大模型，都比 GPU 干得好。

吳強 圖片由后摩智能提供

2020年底吳強決定創業時，中國半導體正處于國產替代的狂熱高峰的三年。中美科技脫鉤加速，英偉達高端芯片對華出口受限，一級市場的錢瘋狂涌入 GPU 賽道，造富神話一個接一個。壁仞科技成立9個月就拿了11億 A 輪，摩爾線程成立百天即成獨角獸，十幾家公司扎堆講“中國英偉達”的故事，合計融資超過百億。

朋友也勸吳強直接做 GPU 國產替代，故事好講，投資人也聽得懂，他曾在AMD參與CUDA的早期開發，對GPU的生態熟悉，但他的判斷是：“如果我也去做 GPU，剛開始會容易點，但長期來說很難有差異化。”

那個時候，所謂“顛覆英偉達”的技術很多，有人選了光計算，有人選了量子計算，吳強選了存算一體，原因是，它更接近落地和商業化。但即便如此，彼時的存算一體，仍是一種停留在學術論文中的計算范式，去挑戰馮·諾依曼體系延續了八十年的統治地位。天使輪融資，好多投資人都聽不懂，"當時國內做大算力存算一體的公司幾乎沒有，國外也只有一兩家在探索。

存算一體，這個詞顯然對大眾而言太過陌生和學術。這種存算一體芯片有的用在耳機中，但大算力存算一體，則用在PC、手機、各種邊緣服務器上。

轉變發生在2023年，大模型之后，吳強判斷，未來一定會有很多物理場景需要在本地跑大模型，因為傳輸越來越昂貴，有隱私問題，時延也不允許，因此大模型端邊推理一定是趨勢。

2023年下半年，后摩用第一代產品適配了智譜的 GLM-6B 模型，發現存算一體跑大模型效果出奇地好。"所以我們當時就預判，應該為大模型端邊推理做一款芯片。"吳強說，那會兒 Agent 還只是一個幾乎沒人討論的概念。

過去的端側 AI 芯片不過是 SoC 里附帶的6T 算力，號稱"端邊 AI“，實際上只能跑一些玩具級的小模型。M50 徹底改變了這個局面：10瓦功耗、160TOPS 算力，可以運行幾百億到千億參數的大模型。

2024年初，大算力的存算一體芯片M50開始做，2025年初流片，2026年2月正式量產。

2026年上半年，后摩智能收到了超出預期的客戶訂單。它的客戶名單從聯想、長城延伸到運營商的通信 AI RAN、陪伴機器人公司，以及一批正在深圳涌現的 Agent 硬件公司，這是一片嶄新的增量市場。

吳強說，如果要用一句話概括后摩，是讓端側“免費Token工廠”成為可能。

它背后，是以大模型為主的AI產業正在經歷的一次結構性遷移：算力正在從集中式的數據中心，向分布式的終端設備轉移，這個結構洞的經濟學邏輯，可能比技術本身更具產業的顛覆意義。而后摩，顯然是這場需求結構性遷移的受益者。

和吳強聊，我們試圖回答幾個關鍵問題，存算一體是否真的能在通用大模型推理上大規模替代 GPU/NPU？在存算一體芯片大規模商業化之后，端側大模型會不會把 AI 推理從云端按量付費，改造成一次性硬件買斷的生意？成本要降到什么程度，Token工廠會進入家家戶戶？

一場關于"搬不搬數據"的效率之爭

虎嗅：六年前確實很少聽到存算一體這個概念。那個時候存算一體芯片商業化了嗎？國內外有哪些公司在做？

吳強：包括國外在內，當時大部分公司做的都是小算力、超低功耗的方向，比如知存做的是 NOR Flash 的存內計算，用在耳機芯片里。真正做大算力存內計算芯片的，國內當時是零，國外也只有一兩家創業公司在探索。

虎嗅：理清一下一個區別，之前的存算一體做的是小功耗的產品，比如耳機。我們現在做大算力的存算一體芯片，替代的是哪類產品？

吳強： 存算一體是一個技術路線。小算力超低功耗的方向用的是模擬計算，存儲介質是 NOR Flash。我們這一波的路線大概從2017、2018年在學術界開始，用 SRAM 做純數字的存內計算，可以把精度做高，把算力和算力密度都做上去。

在大算力這個領域，我們面向的場景不是耳機，而是 PC、手機、各種邊緣服務器等。

虎嗅：所以你們對標的是原來的推理GPU 或 TPU？存算一體跟 GPU 相比，客戶能感知到的優勢是什么？

吳強：對客戶來說，他不需要知道底層是存算一體還是常規架構。他能感受到的就是：功耗更低，或者在同等芯片面積下算力更大。

存算一體解決的核心問題是能效比——同等面積下算力更大，帶寬更大。比如我們現在在消費終端上，一個手掌大小的盒子里，一顆芯片能跑幾百億到一千億參數的模型，功耗只有10瓦左右。同樣的場景，其他公司的產品可能要大幾十瓦。

虎嗅：我能理解為，存算一體能在通用大模型推理上替代 GPU/NPU嗎？

吳強：兩者各有側重：GPU/NPU強在通用性和生態，存算一體強在能效和端側部署。兩者不是互相取代的關系，而是各有不可替代的價值。

虎嗅：現在還有近存計算，近存計算和存內計算有什么區別？

吳強： 近存計算，只是把計算和數據存儲拉近了，實際上還有數據搬運，只不過距離變近了。Groq 走的就是這條路。而我們做的存內計算，是真正在存儲內部做計算，很多情況下數據是不動的。所以我們的能效比更高，算力密度也更高——同樣一個小盒子，可以提供更大的算力。

大模型救活了一條新的路

虎嗅：端側大模型這件事出來之前，存算一體的市場是什么樣的？你們那個時候的市場競爭狀況如何？

吳強： 之前也可以做推理，比如計算機視覺的推理——智能駕駛、安防監控。存算一體做 CV 也能做得好，只要是數據為主的矩陣向量相乘的計算，它都比常規架構更高效。但 CV 市場非常紅海，格局已定，商業機會不多。

大模型出來以后，第一，這是個新興市場，機會更多；第二，存算一體做大模型更合適，因為數據量更大，數據量越大，存算一體的優勢就越大。

虎嗅：大模型時代，推理的需求爆發，那個時候后摩接到的第一個這一類的需求是來自哪一類的客戶？

吳強：存算一體除了可以讓 Token 的成本降低，另外一個優勢它把功耗做到極致，把成本做到極致。以前端邊有很多的AI 芯片，都是小算力。

大模型出來之后，有客戶希望在端邊跑大模型，特別是今年初，這種需求特別多，客戶希望做一個像聯想AI主機P7這樣的AI終端。

虎嗅：OpenClaw 出來之后，對公司的客戶結構有什么變化？

吳強：我們目前客戶主要來自四個場景：第一是 Agent Computer，這是增量市場，一個全新的形態；第二是智能終端，包括 PC、會議紀要一體機、實時翻譯機，未來還有手機、平板、學習機；第三是具身機器人，目前主要做陪伴機器人；第四是邊緣服務器，比如通信類的 AI RAN等。

虎嗅：陪伴機器人公司很多用的是云端方案，因為考慮到端側部署成本更高，這方面也有后摩的市場嗎？

吳強： 現在大部分陪伴機器人確實用云端。但云端方案有幾個問題：第一，它賭客戶不用。如果客戶真的用起來，成本吃不消，而中國用戶不習慣付訂閱費；第二，隱私問題，如果只是聲音還好，但如果有攝像頭，大家還是敏感的。

主打便宜的一般用云端，先賣出去再說。但主打體驗的、稍微高端的，基本都會有本地算力。比如陪伴機器人，需要能看到你的表情，判斷你是不是皺眉、心情不好，這種算法需要本地算力，高凈值客戶也在意隱私。

虎嗅：你們的芯片能把 Token 生產成本降到原來的多少？

吳強：理論上是一個數量級的提升。當然今天我們還做不到10倍，但至少幾倍的提升是現在可以努力的方向。

除了降低 Token 成本，更大的優勢是：存功耗和成本做到極致，讓大模型在端邊運行變成了可能。

虎嗅：從 Token 經濟學的角度看，端側推理和云端推理的成本結構有什么本質區別？后摩的存算一體架構如何改變 Token 的“生產成本”的，這背后的邏輯是什么？

吳強：端邊推理和云端推理的結構有本質區別，云端推理是持續消耗的成本結構，用的越多，付費越多。端邊推理一次性硬件投入，零邊際成本。設備購買后，所有推理任務在本地完成，無Token消費、無調用次數限制。一次性投入之后，使用是個免費token 工廠。

存算一體架構改變Token生產成本的邏輯在于兩個方面：首先是存算一體的低功耗、高效率推理可以讓token生成的成本降低；其次，更重要的一方面，在端邊功耗和成本敏感的場景下，存算一體讓足夠大的大模型運行變成可能，讓免費token 工廠變得可能。

虎嗅：端側大模型會不會把 AI 推理從云端按量付費，改造成一次性硬件買斷的生意？

吳強：端側模型其實是將AI從一種持續的運營成本，轉變為一種可預期的資本投入，為用戶和企業提供了一種全新的選擇。未來的主流模式更可能是“端云協同”，系統自動判斷任務該由端側還是云端處理，在成本、性能和體驗之間找到平衡點。

讓每個人都能用上免費的Token工廠

虎嗅：這幾年在你的觀察視角下是否發現了一些新的需求？我們是否有針對這些涌現的新的需求做產品？或者說這些需求對我們的產品提出了什么挑戰？

吳強：模型在逐步變大，對算力和帶寬的要求在變高，從單一大語言模型向多模態遷移等新的需求，針對這些需求，我們也在做端邊能處理更大規模參數的芯片，未來，端邊芯片應該能處理接近或超過今天滿血版模型的能力，同時，我們針對消費終端的多模態模型需求，也布局了更適合做dense多模態模型的芯片。

虎嗅：你們現在有海外的客戶嗎？國產模型加國產芯片在國際競爭上是否有優勢？

吳強： 我覺得中國未來“Token 出海”是一個很大的機會。

我的邏輯是：免費產品一定是大家用最好的——社交網絡、搜索都是這樣。但 Token 要花錢，只要花錢，即使你不是最好的，性價比高也有市場。

國產開源模型加國產芯片，絕對能力可能做不到海外 SOTA 水平，但通過性價比，一定能覆蓋到國際舞臺。我們現在海外客戶都是做端邊智能設備的，他們的邏輯是：海外網絡沒有中國那么好，特別是農村地區；對隱私也更敏感。他們很喜歡這種本地的“免費 Token 工廠”——小巧、不依賴網絡、足夠智能。

你可以把這看成廣義的 Token 出口，出口的是一臺 Token 機器。

虎嗅：中美在存算一體上的技術差距有多大？

吳強：存算一體的好處是我們跟巨頭在同一起跑線上。之前這還是學術界的領域，海外和整個行業走的都是英偉達或 ARM 的路線。存算一體作為新的探索性技術，大家起點一樣。而且巨頭有更大的包袱。英偉達那套東西已經走得很深了，要用存算一體這種顛覆性技術，意味著把原來的東西通通打破，歷史包袱太重。英偉達收購 Groq，也只是拿來配合使用，把大模型里有低延遲需求的部分分給 Groq 做，本質上還是改良，不會放棄 GPGPU。而我們從零開始，沒有包袱，整個架構都是存算一體。

虎嗅：我可以理解為，大模型之后后摩的價值也出現了大幅提升，如果拿掉國產替代的敘事，后摩的價值在哪里？

吳強： 今天的格局是：訓練方面英偉達還是主導；推理方面國產比例越來越大，大家發現至少在推理上跟英偉達差不多。所以現在拼的不是國產替代，而是都是國產的情況下，誰的性價比更高、性能更好。

后摩從第一天就沒有主打國產替代。我們一直說自己是“國產創新”，一直說不能用英偉達的方式打英偉達，要彎道超車。后摩今天的價值是：我們用了一個跟英偉達完全不同的新技術，把它從學術概念變成了現實，做到了量產和商業化，并且在大算力存算一體賽道上走在全球前列——不只是中國前列。

虎嗅：現在其實也有很多做端側和邊緣芯片的廠商，半導體又是一個頭部效應很明顯的行業，端側未來還需要那么多家算力芯片公司嗎？后摩的競爭窗口期你認為還有多長？

吳強：目前端側芯片大部分還是控制為主的CPU芯片或者SoC芯片，AI算力一般都很小，傳統端邊AI芯片算力僅為6-16T左右,隨著大模型的普及，算力超過百T的端邊大模型芯片，會逐漸成為主導，在這塊后摩是先行者。

未來整合的話，端邊可能也不超過5家。當然大家會相互試探——比如高通做手機也往 PC 上布局——但每家都有自己的主戰場。

虎嗅：如果用一句話描述后摩智能在 Token 新范式中的角色定位，你覺得是什么？

吳強：讓端側“免費Token工廠”成為可能。

虎嗅：或者說家家戶戶都有一個超節點？

吳強：是的。就是這類“家用超節點”，可以把家里的所有智能設備都連到這上面去。

虎嗅：成本要降到什么程度，Token工廠會進入家家戶戶？

吳強：現在有的盒子可能在幾千塊錢，隨著市場規模擴大，技術成熟，成本會持續下降。現在，差的可能不是成本，而是一個殺手級應用，讓大家覺得“必須擁有本地Token工廠”。一旦這個應用出現，疊加已降至臨界點的成本，Token工廠才能真正進入千家萬戶。

虎嗅：未來5年，后摩面前最大的挑戰可能是什么？你覺得真正的威脅可能會來自那些公司？

吳強： 從組織發展角度，今天公司還在生存階段，大家都很拼，go big or go home。如果5年后真的做到了頭部，組織怎么進一步迭代，這是一個挑戰。

從產業角度，如果那時候端邊已經是很大的市場，競爭會很激烈。端邊推理的生態壁壘不像云端訓練那么深，所以必須不停提升效率才能保持領先。

我覺得真正的威脅不會來自巨頭，會來自另外的創業公司，用一套完全新的技術打法對我形成降維打擊。而那個東西是我當時忽略的、沒有重視的。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4876593.html?f=wyxwapp