跨集群異構(gòu)PD分離WAIC首發(fā)，專訪無問芯穹李秀紅，探秘Token工廠「超級管線」的落地路徑

編輯｜Panda

一次 Agent 任務(wù)，用戶等的從來不是「一句話」。智能體是「一問、多輪、帶著上文反復(fù)回來」。執(zhí)行過程中，每一輪幾秒鐘的延遲，乘上工具調(diào)用帶來的幾十輪交互，最終會在整個(gè)工作流上累積成十幾分鐘的劣化。在智能體時(shí)代，推理系統(tǒng)面對的不再是一道加法題，而是一道乘法題

與此同時(shí)，能用來做這道乘法題的算力卻僅以線性的速度增長。因此，供需之間的缺口是結(jié)構(gòu)性的，不會隨著某一輪擴(kuò)產(chǎn)而消失。

就在這道缺口最緊張的地方，無問芯穹給出了自己的答案。在 7 月 20 日 2026 年世界人工智能大會上，無問芯穹聯(lián)合創(chuàng)始人兼 CEO 夏立雪首次公布了無問芯穹「前店后廠一中心」的 Agentic Infra 戰(zhàn)略布局

該戰(zhàn)略基于「規(guī)模」與「效率」兩大錨點(diǎn)，涵蓋三大核心板塊：

• 算力集散中心」：即Agentic Infra 自主式基礎(chǔ)設(shè)施平臺，核心目標(biāo)是最大化智能資源規(guī)模，把散落的、異構(gòu)的算力資源統(tǒng)一匯聚、彈性調(diào)度、按需利用，為模型與應(yīng)用層筑牢充足、穩(wěn)定、可擴(kuò)展的算力底座。當(dāng)前已在全國部署觸達(dá)超 37,000P 算力、覆蓋 16 種主流芯片，盤活了廣域分散的異質(zhì)算力。
• Token 工廠」：即Agentic MaaS 大模型服務(wù)平臺，核心目標(biāo)是用極致效率服務(wù) Token 的規(guī)模化、高質(zhì)量生產(chǎn)。公司在 WAIC 2026 發(fā)布了首創(chuàng)的新一代推理系統(tǒng)優(yōu)化成果——跨集群異構(gòu) PD 分離架構(gòu)（Prefill-RelayDecode-MainDecode, PDD），極大提升大模型推理效率，同時(shí)最大化釋放全域異構(gòu)算力的產(chǎn)業(yè)應(yīng)用價(jià)值。實(shí)測顯示，該架構(gòu)在實(shí)現(xiàn)了首 Token 延遲（TTFT）降低 51.5% 的同時(shí)，單 Token 成本可降低 37.5%。
• AI 生產(chǎn)力商店」：即Agentic Infra 行業(yè)解決方案，不僅攜手多行業(yè)伙伴把 Token 高效轉(zhuǎn)化為產(chǎn)業(yè)認(rèn)可的高質(zhì)量 AI 生產(chǎn)力，打造覆蓋文娛、游戲、醫(yī)療、法律、能源電力等多個(gè)垂直行業(yè)的 Agentic Infra 行業(yè)解決方案，賦能千行百業(yè)降本提效。更將智能體能力應(yīng)用到 AI Infra 本身，打造包含「平臺管家智能體系統(tǒng)」、「智算集群運(yùn)維智能體系統(tǒng)」和「算子生成智能體系統(tǒng)」的基礎(chǔ)設(shè)施智能體蜂群，以 Agent 能力驅(qū)動整套 AI Infra 形成自主迭代、自我優(yōu)化的閉環(huán)，讓基礎(chǔ)設(shè)施越用越強(qiáng)。

值得點(diǎn)出的是：早在 2025 年，無問芯穹就率先提出了Agentic Infra的范式；一年過去，這個(gè)詞幾乎成了行業(yè)標(biāo)配。而當(dāng)一個(gè)概念變成標(biāo)配，真正的分水嶺就從「有沒有」轉(zhuǎn)移到「深不深」：是只為 Agent 改個(gè)入口，還是重寫整條從算力到 Token 到生產(chǎn)力的轉(zhuǎn)化鏈？

總結(jié)起來，無問芯穹對此的回答是：需求的形狀變了，所以訓(xùn)練要跨集群、推理要跨集群、基礎(chǔ)設(shè)施要自己會優(yōu)化自己，最后這套能力還要能輸出翻譯到物理世界。其核心則在于規(guī)模與效率

而這條主線中，目前最硬、也最能直接換算成錢的一塊是推理

于是接下來，我們把鏡頭推近，聚焦直擊大模型推理成本和效率「生死線」的跨集群異構(gòu) PD 分離架構(gòu)（Prefill-RelayDecode-MainDecode, PDD），我們專訪了無問芯穹技術(shù)副總裁、該技術(shù)負(fù)責(zé)人李秀紅。

下面，他將帶我們一道，從行業(yè)面臨的現(xiàn)實(shí)需求說起，深度剖析本項(xiàng)技術(shù)的創(chuàng)新和工程價(jià)值。

• 技術(shù)報(bào)告：PDD： Unleashing Economical And Flexible Heterogeneous LLM Inference Via Cross-Datacenter Prefill-Decode Disaggregation
• 項(xiàng)目地址：https://github.com/infinigence/pdd

一個(gè) 2.5 秒的問題

先從一個(gè)看起來小到可以忽略的數(shù)字說起。

在 64K 總長度、90% 前綴命中率下，同機(jī)房內(nèi)做 PD 分離，P50 首 token 延遲（TTFT）平均值約 4.2 秒；如把解碼搬到另一座城市的機(jī)房，這個(gè)數(shù)字變成 6.7 秒。多出來的 2.5 秒，是 KV Cache 在廣域以太網(wǎng)上爬行的時(shí)間。

TTFT 示意圖

2.5 秒，聽起來不多。這正是我們拋給李秀紅的第一個(gè)問題：一個(gè)幾秒的差別，為什么值得專門去優(yōu)化？

「這其實(shí)是個(gè)非常核心的點(diǎn)?！顾岩暯菑钠骄蹬查_，「P50 你可以理解成只有一半的請求。我們作為 token 服務(wù)工廠，真正要保障的是 P90 和 P99；只有把這兩個(gè)尾部保障好，才談得上是高質(zhì)量的 token 服務(wù)?！?/p>

而在尾部，那 2.5 秒會迅速膨脹：按 PDD 論文，同樣的場景下不做優(yōu)化的跨集群方案，P90 的 TTFT 是 18.3 秒，P99 是 29.7 秒?！窹99 已經(jīng)快 30 秒了，而現(xiàn)在高質(zhì)量的 token 服務(wù)整體延遲基本不會超過 30 秒。你光傳輸就用掉 29.7 秒，完全達(dá)不到業(yè)務(wù)要求。」

跨數(shù)據(jù)中心 PD 分離基準(zhǔn)與 PDD 的 TTFT 數(shù)據(jù)比較

換句話說，2.5 秒是中位數(shù)請求的賬。而在決定服務(wù)質(zhì)量的尾部，跨集群傳輸制造的延遲足以讓整個(gè)服務(wù)失去競爭力。

為什么要 PD 分離：讓專業(yè)的人做專業(yè)的事

要理解 PDD，得先理解它的地基，即 PD 分離，及其必要性。

大模型推理有兩個(gè)階段，對硬件的要求幾乎相反。李秀紅給出了非常清晰的畫像：「Prefill 是用戶把一整段話給你，你處理的是一段批量輸入，所以它是計(jì)算密集型的，要大算力。Decode 是一個(gè) token 接一個(gè) token 地往外吐，每次處理的計(jì)算工作量更小，訪存要求更高；而且隨著任務(wù)變長，它對顯存容量和顯存帶寬的要求都比 Prefill 更高。」

一次交互的端到端總延遲

兩個(gè)階段對延遲的容忍度也不同?！窹refill 的首字延遲，大家容忍度高一點(diǎn)，幾秒、甚至十幾秒也能接受。但 Decode 每個(gè) token 都是 10、20、30 毫秒量級的，要求非常高?！?/p>

而如果不把 PD 拆開，會怎樣？李秀紅回答到：「你硬把它們?nèi)M(jìn)同一套代碼和配置里，是能跑的，但就是顧此失彼?！褂盟脑捳f，PD 分離就是讓專業(yè)的人做專業(yè)的事，而不是搞一個(gè)大一統(tǒng)。

這是業(yè)界早有的共識。無問芯穹帶來的進(jìn)步是在 PD 分離前面加了兩個(gè)詞：跨集群異構(gòu)。并且二者是正交的：異構(gòu)是指 P 和 D 從底層芯片到配置都不同；跨集群則是指 P 和 D 分處不同的機(jī)房。另外，李秀紅也指出，「異構(gòu)可以是單機(jī)房內(nèi)的異構(gòu)，也可以是跨機(jī)房的異構(gòu)?！?/p>

為什么要追求異構(gòu)？根子在于國產(chǎn)芯片的現(xiàn)狀。李秀紅給出了一套評價(jià)芯片的四維框架，也就是芯片在四個(gè)維度上的配置：峰值算力顯存容量顯存訪存帶寬互聯(lián)帶寬

「旗艦芯片在這四個(gè)維度上是均衡的，英偉達(dá)做得最好。但你把視野放開，考慮其他芯片，往往很難做到四個(gè)維度都和英偉達(dá)一個(gè)量級。所以有些芯片會做取舍，比如它可能側(cè)重 Decode，讓它做 Decode 還可以，但你強(qiáng)行讓它做 Prefill，效率就非常低?！?/p>

也因此，異構(gòu) PD 分離有了價(jià)值：讓「偏科」的芯片做它擅長的事。

一顆在 Prefill 上平平無奇、在 Decode 上卻遠(yuǎn)超基線的芯片，如果被綁死在耦合部署里，它出色的解碼能力就會被浪費(fèi)掉。

那么，實(shí)現(xiàn)異構(gòu)是在單機(jī)房內(nèi)建一個(gè)異構(gòu)集群，還是找兩個(gè)機(jī)房、用以太網(wǎng)把它們連起來？李秀紅判斷：「異構(gòu)集群市面上本來就不多，建造的復(fù)雜度高，同時(shí)集群一旦建好，各種芯片的配比就固定了，業(yè)務(wù)變化之后，靈活性也有問題。所以我們認(rèn)為，跨集群的異構(gòu)會是未來成本最低、最靈活的異構(gòu)方式?！?/p>

傳統(tǒng)的數(shù)據(jù)中心內(nèi)異構(gòu) PD 與 PDD 的細(xì)粒度跨數(shù)據(jù)中心異構(gòu)部署

瓶頸：一根以太網(wǎng)，傳不動一個(gè)機(jī)房的 KV Cache

跨集群異構(gòu)方向選定了，但它撞上了一堵墻：兩個(gè)機(jī)房之間要傳 KV Cache。

李秀紅解釋說：「P 和 D 雖然分離，但這兩個(gè)階段是協(xié)同配合的。Prefill 生產(chǎn)出來的 KV Cache，要傳給 Decode 去用。而這個(gè)量很龐大?！顾?dāng)場算了一筆賬：主流的 1T 級別旗艦?zāi)Ｐ?，單個(gè) token 的 KV Cache 大約在 10KB 到七八十 KB 之間；取個(gè)中間值 50KB，一個(gè) 100K 長度的請求，KV Cache 就是 GB 級別。而一個(gè)集群每秒要處理幾十個(gè)這樣的請求。

「以太網(wǎng)一般是用來傳輸控制信號或者少量數(shù)據(jù)的，不太會傳大量的數(shù)據(jù)面內(nèi)容?！箍?Prefill 集群每秒生產(chǎn)出的 KV Cache 是幾十 GB 量級，而一條跨機(jī)房專線的帶寬也就在 GB 量級?！?strong>你的以太網(wǎng)，根本傳不動 Prefill 集群產(chǎn)生出來的 KV Cache，這會完全在傳輸上成為瓶頸。

PDD 論文也給出了一組具體數(shù)據(jù)：即便是 DeepSeek-V4-pro 這種已經(jīng)用 CSA、HCA 等技術(shù)壓縮過 KV Cache 的先進(jìn)模型，80 個(gè)并發(fā)的 64K 請求產(chǎn)生的 KV Cache 也需要約 23GB 存儲，把它傳到解碼集群需要超過 180 Gbps 的帶寬。而經(jīng)濟(jì)型的跨機(jī)房以太網(wǎng)，通常只能提供 10 到 100 Gbps。帶寬之外還有延遲：相比同機(jī)房 RDMA，廣域以太網(wǎng)的傳輸延遲要高出幾十上百倍。

可行性：先從數(shù)據(jù)里看到「有戲」，才反過來設(shè)計(jì)架構(gòu)

有意思的是，PDD 的誕生過程并非從創(chuàng)意到成果的研發(fā)之路，其起點(diǎn)是可行性論證。李秀紅回憶道：「當(dāng)你跟同行講你在做跨集群 PD 分離，別人一聽就會覺得，這不太可能吧？天方夜譚。所以可行性分析是我們整個(gè)工作的基礎(chǔ)。」

論證分兩步，他用工廠的水管作比。第一步是帶寬的可行性，也就是「水管的排量夠不夠」。這一步的關(guān)鍵是一個(gè)來自真實(shí)業(yè)務(wù)的觀察：在多輪對話和 Agent 這類主流場景下，請求的平均前綴命中率能達(dá)到 90%。命中意味著這部分 KV Cache 無需重新傳輸。李秀紅解釋說：「90% 的命中率，意味著我們可以少傳 90% 的數(shù)據(jù)，整體傳輸量直接降了一個(gè)數(shù)量級。」降完之后，專線帶寬和集群產(chǎn)能就落到了同一個(gè)量級。于是，排量可行了。

這背后是一項(xiàng)為了「給 Decode 實(shí)例重復(fù)前綴存儲去重」而設(shè)計(jì)的「Decode-side RadixCache（DRC）」技術(shù)，無問芯穹推理技術(shù)團(tuán)隊(duì)將其創(chuàng)新性地遷移至了跨集群異構(gòu) PD 分離的架構(gòu)中：針對 Agent 場景長序列、高前綴命中的特征，在解碼側(cè)緩存歷史 KV Cache，論文數(shù)據(jù)顯示它能在 90% 平均命中率下把所需的跨機(jī)房帶寬降低最多 10 倍。這也為 PDD 打造了穩(wěn)固的地基。

但排量夠，不代表每個(gè)請求都夠快。第二步是延遲的可行性?！笍恼w看，數(shù)據(jù)能傳過去，但從每一個(gè)具體請求的視角看，還要保證它的延遲滿足要求?！苟苯佑靡蕴W(wǎng)傳，延遲完全滿足不了業(yè)務(wù)要求?！杆晕覀儼l(fā)現(xiàn)，帶寬是可行的，但延遲不可行。處理延遲的可行性就是 PDD 這個(gè)工作的關(guān)鍵?！?/p>

研究觀察到，對于真實(shí)世界的 agentic 任務(wù)請求，大約 70%的請求，輸出長度低于 500 tokens。而對于這些短輸出請求，1～20 秒之間波動的跨集群 KV 傳輸延遲，成為了端到端延遲主要部分。

這里有一個(gè)必須追問的問題：90% 命中率是 PDD 的前提，如果沒有這么高呢？

李秀紅的回答給出了 PDD 的適用邊界，也順帶說明了它的經(jīng)濟(jì)性：「高命中率是前提，但不一定非得是 90%。命中率越高，一根專線能支撐的集群規(guī)模就越大；低一點(diǎn)也沒問題，我們適當(dāng)提升一下專線的規(guī)模就行。相對于集群里的機(jī)器成本，專線的成本還是非常低的。」換句話說，命中率影響的只是 PDD 性價(jià)比。

順帶一提，PDD 論文披露的一個(gè)更精細(xì)的觀察：真實(shí) Agent 負(fù)載的命中率不是穩(wěn)穩(wěn)停在 90%，而是高度偏斜的，即約 70% 到 80% 的請求命中率超過 95%，同時(shí)夾著一小撮低命中率請求。

不同命中率區(qū)間內(nèi)請求分布隨時(shí)間的變化。該圖展示了 2026 年 1 月至 2 月期間，七個(gè)不同命中率區(qū)間內(nèi)的請求占比情況，這些區(qū)間覆蓋范圍從 0%-90% 到 99%-100%。

這種偏斜很有用：海量高命中請求的傳輸包極小，能借 TCP 的公平機(jī)制繞過擁塞、在約 1 秒內(nèi)到達(dá)；真正的高延遲，被隔離在了那一小撮低命中率的請求上。于是問題從「如何全局降低傳輸延遲」變成了「如何只給那一小撮異常請求做延遲掩蓋」，而這是一個(gè)小得多、也可解得多的問題。

偏斜的命中率分布使得 P50 傳輸延遲極低，高延遲集中在少數(shù)低命中率請求上

PDD 的解法：把 Token ID 送過河，而不是 KV Cache

現(xiàn)在可以拆解 PDD 本身了。簡單來說，它把傳統(tǒng) PD 分離的兩級進(jìn)一步解耦成了三級。

• P 實(shí)例（Prefill），執(zhí)行預(yù)填充，位于集群 A。
• RLD 實(shí)例（Relay Decode，接力解碼），與 P 同處集群 A，之間是高速 RDMA。
• MD 實(shí)例（Main Decode，主解碼），位于遠(yuǎn)端集群 B。

PDD 的三層跨數(shù)據(jù)中心 PD 分離架構(gòu)示意圖

對于這個(gè)機(jī)制，李秀紅用了一個(gè)貼切的接力賽比喻：「就像跑步，你起跑加速的時(shí)候跑得慢，就讓上一棒先替你跑一段；等你把速度提起來，再接過棒繼續(xù)跑。」更具體來說：

雙路并行傳輸。P 算完后，KV Cache 同時(shí)走兩條路：一條走 RDMA 給同機(jī)房的 RLD，幾十毫秒到；一條走 TCP 經(jīng)廣域以太網(wǎng)給遠(yuǎn)端的 MD，要數(shù)秒。

RLD 率先解碼，掩蓋延遲。RLD 幾十毫秒就拿到了 KV Cache，立刻開始解碼。在 MD 那份還在網(wǎng)上爬的這數(shù)秒到數(shù)十秒中，RLD 已經(jīng)開始向用戶輸出 token 了。論文中把這批 token 稱為 Eager Output Tokens（急切輸出 token）。在這些 token 的延遲掩藏下，跨集群的 KV 傳輸延遲雖然沒有被消除，但是卻絲毫不影響用戶體驗(yàn)了。

第三步，延展解碼交接（Extend-Decode Handoff）。等 MD 那份 KV Cache 終于收齊，它并不需要 RLD 把這段時(shí)間生成的 KV Cache 也傳過來：RLD 只把這批 token 的 ID（幾個(gè)整數(shù)）發(fā)過去，MD 用 Token ID 加上從 P 收到的 KV Cache，在本地重算出這段增量 KV Cache，然后無縫接力。

為什么繞這一圈更劃算？因?yàn)?Token ID 極?。?00 個(gè) token 的 ID 只有 1.5 KB），而且是 CPU 數(shù)據(jù)，不觸發(fā)額外的顯存拷貝；而 MD 重算這段 KV Cache 的開銷，又被 Decode 階段本身訪存密集的特性給掩蓋了。

論文的 Microbenchmark 給出了一組對比：在廣域以太網(wǎng)上直傳增量 KV Cache，一次 100-token 交接的負(fù)載是 4649 KB，延遲均值 185 毫秒但峰值沖到 512.6 毫秒，還要額外背 24.5 毫秒的顯存拷貝開銷；而本地重算的方案，傳輸負(fù)載只有 1.5 KB，延遲均值雖略高（305 毫秒），但最大延遲被牢牢摁在 321.4 毫秒，標(biāo)準(zhǔn)差只有 4.8 毫秒。

Microbenchmark：100-token 序列的交接開銷比較

前者確實(shí)有時(shí)更快，但抖動大；后者穩(wěn)，而且完全免疫網(wǎng)絡(luò)波動和排隊(duì)。在廣域網(wǎng)上傳一句「我跑到這兒了」，讓對方自己把中間過程重算出來，比把整個(gè)中間過程搬過去更劃算。

順帶一提，這一步還借鑒了一個(gè)現(xiàn)成的技術(shù)范式。論文點(diǎn)明，Extend-Decode 本質(zhì)上和 MTP（多 token 預(yù)測）、投機(jī)解碼是同類：普通解碼一步只吃一個(gè) token ID、吐一個(gè) token，而延展解碼一次并行處理多個(gè) token ID、補(bǔ)齊它們對應(yīng)的 KV Cache 再吐出下一個(gè)。由于解碼階段本就是訪存密集，這多出來的計(jì)算量幾乎不額外增加延遲。

兩種交接模式和一個(gè)會「震蕩」的流水線

RLD 和 MD 之間的交接，論文給了兩種模式，李秀紅也為我們進(jìn)行了直觀的解釋：

• One-Shot Handoff（一次性交接）：RLD 把生成的 token 一次性全交給 MD，然后立刻釋放。好處是 RLD 占用時(shí)間最短，壞處是 MD 那一瞬間要處理的 token 變多，「直觀上會給人一點(diǎn)卡頓，就像第一個(gè) token 出來的時(shí)候，突然卡了那么一下?！?/li>
• Catch-Up Handoff（追趕式交接）：把一次性交接拆成多批。李秀紅舉了個(gè)例子：「如果一次要交接的 token 超過某個(gè)閾值（比如 64 個(gè)），我們認(rèn)為這一下對 MD 的卡頓影響比較大，就先給它一部分，同時(shí)讓 RLD 別停、繼續(xù)再接力一段；等 MD 把剛才那一小部分做完，再把第二塊給它。」這樣就把一次大的卡頓，化成了多次感官上無法察覺的小交接。代價(jià)是 RLD 要多跑一會兒，負(fù)載略增。

傳統(tǒng)跨數(shù)據(jù)中心 PD 解耦方案與 PDD 延遲隱藏機(jī)制的時(shí)間線對比

在實(shí)際系統(tǒng)中，可以根據(jù) RLD 的實(shí)時(shí)負(fù)載，在兩種模式間動態(tài)切換。

真正難的部分，在流水線本身。「傳統(tǒng) PD 分離嚴(yán)格來講也是三階段：Prefill、RDMA 傳 KV Cache、Decode。但因?yàn)?RDMA 傳輸一般不是瓶頸，我們會把它簡化成兩階段?！估钚慵t說，「兩階段的生產(chǎn)消費(fèi)關(guān)系非常容易配平，你只要知道 A 和 B 的生產(chǎn)能力，很容易就把它配平衡了?！?/p>

PDD 把這條流水線變成了四階段：Prefill、接力的 RLD、以太網(wǎng)傳輸、遠(yuǎn)端的 MD。李秀紅說：「更麻煩的是依賴關(guān)系。兩階段時(shí)是線性的，A 一個(gè)箭頭到 B?，F(xiàn)在變成了非線性，整個(gè)從線性的箭頭關(guān)系，變成了圖的依賴關(guān)系。再去做任務(wù)均衡、去找瓶頸，就比線性結(jié)構(gòu)復(fù)雜很多。」

論文披露了這種復(fù)雜性失控時(shí)的樣子：如果把低命中率請求錯(cuò)誤地只在本地（P-RLD 管線）消化、不再傳給 MD，MD 側(cè)的緩存命中率會逐漸落后于 P 側(cè)，這個(gè)偏差會反過來把更多負(fù)載甩回 RLD，形成正反饋，最終 RLD 過載 → 系統(tǒng)崩潰。

PDD 給出的對策是只保留 P-MD 和 P-RLD-MD 兩條管線、明確排除 P-RLD，讓兩條管線都終結(jié)在 MD，從而保證 MD 側(cè)和 P 側(cè)的緩存命中率始終對齊。也因此，RLD 被嚴(yán)格限定為「只負(fù)責(zé)掩蓋延遲」這個(gè)最小職能。

奇異流量：知道什么不該做

PDD 里還有一個(gè)叫奇異流量過濾的有趣設(shè)計(jì)，針對的是那種極少出現(xiàn)、卻吃滿帶寬的「超長輸入、超短輸出」請求。

李秀紅解釋了它的機(jī)制：這類請求 RLD 還沒等 KV Cache 傳完，自己就已經(jīng)把結(jié)果算完了。對此，「那就干脆在這兒直接中斷，不需要再完成后面的接力、控制、對齊。」由 RLD 就地跑完全流程，阻斷它的跨集群傳輸。效果不打折，因?yàn)椤杆恿Φ倪@部分 Decode 本身就更快，傳 KV Cache 又是機(jī)房內(nèi)走 RDMA，整體效果非常好?！?/p>

這類請求占比多少？李秀紅估計(jì)大概有 3% 到 4%，但強(qiáng)調(diào)「跟實(shí)際業(yè)務(wù)類型有關(guān)，這個(gè)數(shù)字只能代表某一個(gè)階段」。

成本的賬：10 倍從哪來，下一個(gè) 10 倍從哪來

PDD 最終要回答的是一個(gè)商業(yè)問題：它到底省了多少錢。

先看論文給出的一個(gè)數(shù)字。PDD 的評價(jià)標(biāo)準(zhǔn)是 BCR（Benefit-Cost Ratio，收益成本比），即在滿足 SLA 的前提下，有效吞吐與硬件成本之比。在一組 GPU 型號 A（做 P 和 RLD）+ GPU 型號 B（做 MD）的跨機(jī)房異構(gòu)部署里，PDD 的 BCR 比傳統(tǒng)的同機(jī)房同構(gòu) PD 基線高出最多37.5%

這個(gè)數(shù)字很重要，因?yàn)樗卮鹆艘粋€(gè)容易被回避的問題：這是等成本口徑下的收益嗎？

論文明確給出了成本表：相比需要 88 張 GPU 型號 A 的同機(jī)房基線，PDD 方案只用了 43 張 GPU 型號 A 加 32 張 GPU 型號 B，再加一條跨機(jī)房專線；即便算上 GPU 型號 B 相對 GPU 型號 A 的 20%-30% 溢價(jià)，PDD 的總硬件成本反而比基線低了約 3.5% 到 7.1%，而 SLA 內(nèi)的有效吞吐（RPS）高出約 27.8%。

省下的錢和多出來的吞吐，一起推高了那個(gè) 37.5%。這并非靠堆更貴的卡換來的性能，而是把每個(gè)階段映射到更合適的硬件之后收獲的效率紅利

經(jīng)濟(jì)性的核心是 RLD 極小的資源占用：在一個(gè) 64K、90% 命中、1K 輸出的場景里，RLD 只生成了全部輸出 token 的 6.2%，MD 承擔(dān)了剩下的 93.8%。兩者負(fù)載相差約 15.2 倍。只需一小撮資源養(yǎng)這個(gè)「接力替補(bǔ)」，卻能得到跨機(jī)房這張通行證。

那么，「過去一年推理成本降了 10 倍」，這 10 倍是怎么來的？李秀紅把它歸到幾個(gè)持續(xù)積累、彼此兼容的技術(shù)上：PD 分離本身；P 和 D 之間靈活的配比（P 實(shí)例和 D 實(shí)例的生命周期是解耦的，由負(fù)載均衡的路由器去調(diào)度，可以互不干擾地彈性擴(kuò)縮）；KV Cache 命中（命中之后整個(gè)計(jì)算基本可以近似省掉，這個(gè)收益非常大）；以及 MTP 等。

其中最出人意料的收益來自一個(gè)和「省錢」直覺正好相反的發(fā)現(xiàn)，即李秀紅此前在 QCon 全球軟件開發(fā)大會上分享的「浴盆模型」：「我們發(fā)現(xiàn)，當(dāng) KV Cache 命中率提升之后，業(yè)務(wù)收益反而比命中率低的時(shí)候更低了。這非常反直覺。」

這件事初看不合理，細(xì)想?yún)s相當(dāng)合理。目前大模型對輸入部分的計(jì)費(fèi)，命中 Cache 的 token 只按未命中部分的 10% 到 25% 收費(fèi)。命中越多，單價(jià)越低。問題在于，命中率上升帶來的吞吐收益，未必抵得過這段極低的折扣

李秀紅團(tuán)隊(duì)把命中率作為核心變量量化建模、又用真實(shí)模型實(shí)測，得到的收益曲線呈「浴盆」形：兩端高、中間低?！嘎溥M(jìn)浴盆底部那個(gè)偶然失效區(qū)間時(shí)，就會出現(xiàn)命中率越高越虧錢?！?/p>

更有意思的是浴盆底部那幾個(gè)「奇異點(diǎn)」：在 20%、40%、70% 命中率附近，吞吐會突然掉下去。

團(tuán)隊(duì)查代碼發(fā)現(xiàn)，原因是這些命中率下，調(diào)度會產(chǎn)生一些很小的、又無法與其他請求拼接的「末尾殘塊（Tail Chunk）」，只能獨(dú)立計(jì)算，殘塊越小吞吐越差。這類問題可以靠工程優(yōu)化抹平。

而團(tuán)隊(duì)給出的整體優(yōu)化方向借用了體系結(jié)構(gòu)領(lǐng)域一篇經(jīng)典論文的說法：Stay Away From The Valley（遠(yuǎn)離谷底）：要么優(yōu)化「把浴盆變淺」，要么提高 Cache 容量「逃離盆底」。

這里提及這個(gè)發(fā)現(xiàn)的原因是它點(diǎn)破了一件容易被忽略的事：在 Agent 時(shí)代，前綴緩存已經(jīng)是推理系統(tǒng)的「一等公民」，但緩存命中率并不是一個(gè)越高越好的單調(diào)指標(biāo)。這也正是 PDD 那套「只給低命中率的異常請求做延遲掩蓋、讓高命中請求輕裝走 P-MD 管線」的設(shè)計(jì)背后，同一種思考方式的延伸。

至于夏立雪演講中提到的「推理成本未來的 10 倍下降空間」，李秀紅表示這是一個(gè)重要的技術(shù)判斷：「從 2023 年底到現(xiàn)在，模型架構(gòu)和硬件都在迭代，新硬件加新模型本身就會帶來優(yōu)化空間。我們公司的核心技術(shù)判斷是『多元異構(gòu)、軟硬協(xié)同』，即結(jié)合新硬件和新模型，在這一層做軟硬協(xié)同，完全能打開這 10 倍的空間。」

「算力即收入，優(yōu)化即利潤」

采訪最后，話題回到了商業(yè)。無問芯穹為這次發(fā)布提煉的一句話是「算力即收入，優(yōu)化即利潤」。李秀紅說，PDD 有意思的地方，恰恰在于它能同時(shí)對上這兩句話。

• 算力即收入：「現(xiàn)在算力整體還是供不應(yīng)求，市場上各種芯片、還有過時(shí)的芯片，其實(shí)不少都有機(jī)會用起來。PDD 就像一根管道，把原本沒辦法協(xié)同做推理的集群連起來，相當(dāng)于把我們能用的算力規(guī)模擴(kuò)大了?！?/li>
• 優(yōu)化即利潤：「如果只是把規(guī)模擴(kuò)大、不做優(yōu)化，服務(wù)質(zhì)量就會差，對應(yīng)的 token 定價(jià)就得低。也許有人能接受 TTFT 50 秒那個(gè)量級的服務(wù)，但它的價(jià)格就會變低。我們通過優(yōu)化，讓算力規(guī)模擴(kuò)大的同時(shí)，token 的質(zhì)量、SLA 還維持在高質(zhì)量的范疇中?！?/li>

有一點(diǎn)值得點(diǎn)出：對于自建機(jī)房的云廠商，優(yōu)化省下的是成本；而無問芯穹通過軟件平臺觸達(dá)部署智能資源。對這樣一家公司，優(yōu)化省下的更接近直接的毛利。技術(shù)優(yōu)化對它而言，與其說是加分項(xiàng)，不如說是它的立身之本。

至于增長飛輪，李秀紅分享說：「一開始做推理服務(wù)，視角可能就是幾十臺。流量更多了，一個(gè)集群部署的臺數(shù)就要變多：從 10 臺到 100 臺，看待效率的方式就不一樣了，會釋放新的優(yōu)化空間，比如 PD 配比能做得更精細(xì)。再往上，集群從一兩個(gè)變成幾十、幾百個(gè)，我們就意識到需要用 PDD 把它們連起來、揚(yáng)長避短。」成本降下來，用戶進(jìn)來，規(guī)模變大，又在新規(guī)模下看見新的優(yōu)化空間，再讓成本進(jìn)一步下降。

最后，我們還給了他一個(gè)相當(dāng)尖銳的問題：PDD 讓零散、異構(gòu)、跨地域的算力變得可用，客觀上降低了算力的稀缺性；對一家靠算力優(yōu)化賺錢的公司，把算力變得不那么稀缺，會不會削弱自己的議價(jià)能力？

「我覺得不會。」李秀紅的回答落在了需求側(cè)，「我們公司的目標(biāo)就是把 token 的成本降低一個(gè)、兩個(gè)、三個(gè)數(shù)量級，不斷降下去。通過降低成本，讓 AI 的價(jià)格更低、門檻更低，讓更多用戶能用。以前只有特定群體在用，價(jià)格降下來，更多需求就被釋放出來。這是一個(gè)正反饋：把成本壓下去，更多需求涌進(jìn)來。這就是技術(shù)平權(quán)。」

結(jié)語

把視線拉長到三年，跨集群異構(gòu)推理會成為標(biāo)配嗎？

李秀紅給出了肯定的判斷：「集群規(guī)?？隙〞絹碓酱?，今年 10 個(gè)，明年可能 100 個(gè)、1000 個(gè)。把跨集群做好，一定是未來優(yōu)化的重要因素?！雇瑫r(shí)，「芯片百花齊放是可預(yù)期的，一定會出現(xiàn)各種各樣有自己專長的芯片，比如 A 芯片擅長 Prefill，B 芯片擅長 Decode。所以隨著集群數(shù)量變多、集群里芯片的豐富度變多，PDD 這類技術(shù)會是必不可少的?！?/p>

PDD 解決的是一個(gè)具體的工程問題：如何在兩個(gè)機(jī)房之間，把一份龐大的狀態(tài)從容地搬過去。但它卻示范了一條更普適的前進(jìn)之路：當(dāng)物理約束難以被突破時(shí)，重新安排時(shí)間的順序，讓計(jì)算跑贏傳輸

而把鏡頭再拉遠(yuǎn)，PDD 只是無問芯穹這次 WAIC 發(fā)布里的一個(gè)切面?！?strong>前店后廠一中心」 Agentic Infra 有望把散落異構(gòu)的算力聚成一盤棋（算力集散中心），把算力以「效」搏大地壓成高質(zhì)量 Token（Token 工廠），再把 Token 循環(huán)造血地輸送進(jìn)百業(yè)（AI 生產(chǎn)力商店）。三大板塊串起了一條從電能到智能的完整鏈路，而它們背后是同一組錨點(diǎn)：規(guī)模與效率

當(dāng)算力供給的線性增長追不上智能需求的指數(shù)增長，單純堆算力已經(jīng)不夠，能不能在做大規(guī)模的同時(shí)把效率也做到極致，才是這一代 AI 基礎(chǔ)設(shè)施真正的分水嶺。PDD 非常重要的原因是它成了「規(guī)模×效率」這道題在推理側(cè)的一個(gè)答案：用極小的代價(jià)把跨機(jī)房的零散算力盤活成可用規(guī)模，又用延遲掩蓋把這份規(guī)模守在高質(zhì)量的服務(wù)水位上。

讓智能無所不能，是 AGI；而讓智能無處不在，是 AGI Infra。」夏立雪的這句話或許是對這套布局最凝練的注腳：模型決定智能的上限，而基礎(chǔ)設(shè)施決定智能能落到多少算力、多少行業(yè)、多少真機(jī)之上。

在這個(gè)意義上，「兩個(gè)機(jī)房當(dāng)一個(gè)機(jī)房用」聽起來像一句口號，但當(dāng)李秀紅把接力賽的比喻講完，你會發(fā)現(xiàn)它其實(shí)是一句相當(dāng)精確的技術(shù)描述，也是「用智能進(jìn)化智能、用生產(chǎn)力加速生產(chǎn)力」這條路上一塊踏實(shí)的基石。