推理云賽道一個(gè)月吸金55億美元，AI基建長(zhǎng)出新的中間層？

隨著 AI 被大規(guī)模部署至真實(shí)生產(chǎn)環(huán)境，AI 基礎(chǔ)設(shè)施的重心正從訓(xùn)練轉(zhuǎn)向推理：2023 年，訓(xùn)練還占 AI 算力需求的一半以上；到 2026 年，格局翻轉(zhuǎn)，AI 推理消耗了約 2/3 的算力。

龐大的推理需求，疊加日益成熟的開(kāi)源模型，最終催生出一個(gè)全新的 AI 基礎(chǔ)設(shè)施品類：推理云服務(wù)（neocloud ）。過(guò)去一個(gè)多月，超 55 億美元資金涌入這一賽道。

Fireworks 是其中表現(xiàn)最亮眼的玩家之一。

7 月 16 日，這家總部位于舊金山灣區(qū)的推理云服務(wù)公司宣布完成 15 億美元 D 輪融資，投后估值 175 億美元，英偉達(dá)（NVIDIA）參投。當(dāng)前，F(xiàn)ireworks 的年化收入已超 10 億美元，日均處理超過(guò) 40 萬(wàn)億 Token，高于谷歌（Google）和 OpenAI 各自公布的開(kāi)發(fā)者接口（API）吞吐量。

什么是推理云服務(wù)？

推理云服務(wù)的核心邏輯，是把 AI 模型的運(yùn)行從模型廠商和云廠商手中摘出來(lái)，做成一門獨(dú)立生意：公司租算力、通過(guò)軟件優(yōu)化推理效率，替客戶跑開(kāi)源或私有定制模型，再按 Token 用量收費(fèi)。

早在 2019 年前后，已經(jīng)出現(xiàn)過(guò)一批探索模型托管業(yè)務(wù)的公司，消費(fèi)級(jí)模型 API 交易平臺(tái) Replicate、企業(yè)級(jí)模型部署平臺(tái) OctoAI（2024 年被英偉達(dá)收購(gòu)）等都是這一時(shí)期的產(chǎn)物。直到過(guò)去一年，推理需求集中釋放，整個(gè)行業(yè)隨之進(jìn)入爆發(fā)期。

以 Fireworks 為例，它在英偉達(dá)和超微半導(dǎo)體（AMD）的圖形處理器（GPU）上搭建了一套自研推理引擎，對(duì)接 400 多個(gè)模型，其中絕大部分是開(kāi)源模型。

在平臺(tái)上，企業(yè)可以用私有數(shù)據(jù)微調(diào)開(kāi)源模型，或運(yùn)行私有模型，并對(duì)權(quán)重和數(shù)據(jù)資產(chǎn)有絕對(duì)掌控權(quán)；要是不想被單一廠商綁定，F(xiàn)ireworks 也允許客戶為不同任務(wù)指定不同模型。

推理性能方面，F(xiàn)ireworks 宣稱，借助兩大自研組件，可將推理延遲降至通用方案的三分之一，輸出速度也大大提升。其中，F(xiàn)ireAttention 是針對(duì) Transformer 架構(gòu)注意力機(jī)制重寫的 CUDA 內(nèi)核；FireOptimizer 可從包括硬件型號(hào)、內(nèi)核選項(xiàng)等在內(nèi)的超 10 萬(wàn)種參數(shù)組合中，為每個(gè)客戶的工作負(fù)載自動(dòng)搜索最優(yōu)配置。

（來(lái)源：Artificial Analysis）

底層算力則來(lái)自多云調(diào)度。Fireworks 在 8 家主要云服務(wù)商上構(gòu)建了統(tǒng)一抽象層，哪家 GPU 價(jià)格更低、供給更充足，就把工作負(fù)載調(diào)度到哪。今年年初，公司還收購(gòu)了游戲服務(wù)器編排公司 Hathora，將其跨云低延遲調(diào)度技術(shù)整合進(jìn)算力編排層。

踩中推理與開(kāi)源崛起的雙重拐點(diǎn)

Fireworks 成立于 2022 年 9 月，比 ChatGPT 發(fā)布還早兩個(gè)月。那時(shí)，行業(yè)所有目光都還聚焦在訓(xùn)練上：擁有更多 GPU、訓(xùn)練出更強(qiáng)模型的公司，就能拿到更多融資。

創(chuàng)始人林喬（Lin Qiao）在當(dāng)時(shí)做出了超前的判斷，她認(rèn)為，訓(xùn)練的規(guī)模取決于少數(shù)研究團(tuán)隊(duì)，推理的規(guī)模取決于所有使用者，理論上限是全球人口。

這一判斷與她此前的工作履歷密切相關(guān)。2015 年，林喬加入 Meta，主導(dǎo)將 PyTorch 重建為支撐該公司全部 AI 工作負(fù)載的深度學(xué)習(xí)框架。2022 年離職時(shí)，Meta 基于 PyTorch 完成的推理調(diào)用日均已超 5 萬(wàn)億次。

這個(gè)數(shù)字讓她比大多數(shù)人更早意識(shí)到，當(dāng) AI 真正走向大規(guī)模應(yīng)用，推理才是最終的算力主戰(zhàn)場(chǎng)。

圖 | 林喬（來(lái)源：Fireworks）

三年過(guò)去，林喬的判斷變成了現(xiàn)實(shí)。德勤（Deloitte）在 2026 年 TMT 預(yù)測(cè)報(bào)告中指出，2025 年，推理占 AI 算力比例已從 2023 年的約 1/3 升至 1/2，2026 年將進(jìn)一步躍升至 2/3。高盛研究部門則預(yù)測(cè)，到 2030 年，全球 Token 消耗量將是 2026 年的 24 倍，屆時(shí)月均消耗將達(dá)到 120 千萬(wàn)億 Tokens。

需求側(cè)的轉(zhuǎn)變只是推理云市場(chǎng)得以存在的前提。在閉源性能強(qiáng)大、占據(jù)主導(dǎo)地位的時(shí)代，模型和推理被廠商鎖定，不存在第三方的生存空間。直到開(kāi)源模型崛起，F(xiàn)ireworks 才有機(jī)會(huì)將推理云服務(wù)做成一門介于算力層和模型層之間的獨(dú)立生意。

2025 年初是一個(gè)公認(rèn)的拐點(diǎn)：DeepSeek R1 的發(fā)布讓所有人意識(shí)到，開(kāi)源模型能以遠(yuǎn)低于行業(yè)平均水平的訓(xùn)練成本，追上頂級(jí)閉源模型的性能。

這直接改變了企業(yè)端的心態(tài)，他們?yōu)殚]源模型支付溢價(jià)的意愿正在下降，紛紛開(kāi)始尋找性能接近但價(jià)格低得多的開(kāi)源方案。而按林喬的說(shuō)法，F(xiàn)ireworks 標(biāo)出的價(jià)格是同等質(zhì)量閉源模型的 1/5 到 1/10。

資本市場(chǎng)正在對(duì)這套敘事給出積極的反應(yīng)。最近一個(gè)多月，超 55 億美元投資密集涌入推理云服務(wù)賽道。

6 月底，聚焦跨云部署軟件層的 Baseten 完成 15 億美元 F 輪融資，估值達(dá)到 130 億美元；曾經(jīng)主打自研硬件路線的 Groq，6 月又完成 6.5 億美元融資，并將業(yè)務(wù)重心轉(zhuǎn)向推理云服務(wù)；主攻語(yǔ)音代理和跨模態(tài)推理的 Together AI 7 月初宣布完成 8 億美元 C 輪融資，估值 83 億美元，英偉達(dá)參投。

7 月 8 日，SambaNova 宣布完成 10 億美元 F 輪融資，估值達(dá)到 110 億美元。與 Groq 類似，SambaNova 選擇自研芯片+推理服務(wù)的重資產(chǎn)路線，其 SN50 芯片專為智能體推理設(shè)計(jì)，預(yù)計(jì)將于今年下半年出貨。

而在中國(guó)，我們更熟知的硅基流動(dòng)也在同期宣布完成超 20 億元人民幣 B 輪融資，隨后向港交所主板遞交了上市申請(qǐng)。

推理云正在分走模型廠商的蛋糕

雖然都是“云”，但推理云的最直接競(jìng)爭(zhēng)對(duì)手并不是目前幾家主流的云廠商。

原因在于，云廠商主要賣的是算力，推理云服務(wù)商賣的是 Token，二者甚至可以是互補(bǔ)關(guān)系。今年 3 月，F(xiàn)ireworks 就與微軟達(dá)成合作，以第一方供應(yīng)商身份接入其 AI 開(kāi)發(fā)平臺(tái) Foundry，Azure 用戶可在系統(tǒng)內(nèi)直接調(diào)用 Fireworks 的推理服務(wù)。

同樣在賣 Token 的閉源模型廠商才是推理云真正的對(duì)手。

開(kāi)閉源方案各自占據(jù)了相對(duì)明確的應(yīng)用場(chǎng)景：當(dāng)企業(yè)需要更強(qiáng)的通用能力且不介意成本時(shí)，閉源模型依然是首選；但當(dāng)企業(yè)已經(jīng)明確具體業(yè)務(wù)場(chǎng)景且對(duì)成本敏感時(shí)，開(kāi)源加推理云服務(wù)的組合就有了壓倒性的性價(jià)比優(yōu)勢(shì)。

不過(guò)如今，第二類需求正在快速擴(kuò)大，最具代表性的案例是 AI 編程軟件 Cursor 的 API 遷移路徑。Cursor 早期高度依賴 OpenAI 等閉源接口，后來(lái)逐步轉(zhuǎn)為在 Fireworks 上訓(xùn)練和運(yùn)行自研模型，它的調(diào)用一度貢獻(xiàn)了 Fireworks 一半的營(yíng)收。

雖然和閉源模型搶飯吃是客觀現(xiàn)實(shí)，但能不能搶走，取決于推理云服務(wù)行業(yè)的經(jīng)濟(jì)結(jié)構(gòu)。

第三方數(shù)據(jù)顯示，F(xiàn)ireworks 的毛利率約為 50%，遠(yuǎn)低于典型軟件公司 70% 以上的水平。原因不難理解，這門生意的本質(zhì)是轉(zhuǎn)售 GPU 算力，成本側(cè)壓力較大。

其次，所有中介生意都會(huì)面臨價(jià)格戰(zhàn)的問(wèn)題，推理云也不例外。谷歌、OpenAI、Anthropic、字節(jié)跳動(dòng)等廠商最近都在陸續(xù)下調(diào)不同層級(jí)模型的 API 價(jià)格；而且，當(dāng)推理云還在租算力，其他 AI 廠商已經(jīng)開(kāi)始下場(chǎng)自研推理芯片，直接從硬件層面優(yōu)化推理負(fù)載，進(jìn)一步降低遠(yuǎn)期推理成本。這些都會(huì)削弱 Fireworks 等公司現(xiàn)有的價(jià)格優(yōu)勢(shì)。

問(wèn)題由此指向一個(gè)更根本的層面：在價(jià)格之外，推理云的競(jìng)爭(zhēng)優(yōu)勢(shì)到底還剩下什么？

如果是推理引擎、跨云調(diào)度、微調(diào)工具鏈等軟件優(yōu)化能力，這確實(shí)可以隨著規(guī)模擴(kuò)大不斷加深，形成真正的技術(shù)壁壘。

但如果核心競(jìng)爭(zhēng)力源于規(guī)模效應(yīng)：算力買得多、買得便宜、跑得起足夠大的集群，那么在資本厚度和硬件掌控力上，任何初創(chuàng)公司都無(wú)法與 AI 大廠長(zhǎng)期抗衡。

軟件對(duì)通用 GPU 的效率壓榨終歸有個(gè)限度。現(xiàn)在這些推理云公司，如果不做推理芯片等專有硬件，大概率無(wú)法獨(dú)立走下去。

因此，除了已經(jīng)造出芯片的 SambaNova 和 Groq，F(xiàn)ireworks 等純軟件玩家的結(jié)局或許是與云廠商深度綁定，或被收編，成為云生態(tài)中的專業(yè)化組件。消費(fèi)級(jí)市場(chǎng)可能會(huì)留下部分小體量公司（如 Replicate），為獨(dú)立開(kāi)發(fā)者提供個(gè)性化服務(wù)。

AI 中間層的無(wú)限可能

不管這些公司走到哪一步，它們的出現(xiàn)已經(jīng)釋放出一個(gè)關(guān)鍵信號(hào)：過(guò)往被算力和模型主導(dǎo)的 AI 基礎(chǔ)設(shè)施格局中，正在分化出一個(gè)新的中間層。

過(guò)去幾年，AI 行業(yè)的注意力集中在單一模型的性能上，并以其為準(zhǔn)繩，但開(kāi)源生態(tài)的崛起正在撬動(dòng)這一主張：AI 產(chǎn)品的表現(xiàn)，不再等同于模型本身的能力。

部署、優(yōu)化、定制……每一個(gè)中間環(huán)節(jié)都會(huì)影響輸出結(jié)果。AI 的競(jìng)爭(zhēng)邏輯因此從單一維度走向多維度。

未來(lái)，微調(diào)服務(wù)、模型編排、評(píng)估測(cè)試、數(shù)據(jù)治理，都可能加入推理云所在的中間層，跑出全新的商業(yè)模式。

參考內(nèi)容：

https://www.cnbc.com/2026/07/16/fireworks-nvidia-cloud-ai-startup-value.html

https://fireworks.ai/

https://www.deloitte.com/us/en/insights/industry/technology/technology-media-and-telecom-predictions.html

https://www.goldmansachs.com/insights/articles/ai-agents-forecast-to-boost-tech-cash-flow-as-usage-soars

運(yùn)營(yíng)/排版：何晨龍

注：封面由 AI 輔助生成