GPT-5.6即將上線，推理狂飆750 Tokens/s！疑似橫跨100張晶圓

新智元報道

【新智元導讀】GPT-5.6的推理速度，竟然高達750 tokens/秒！專業大佬曝出內幕：它將橫跨100張晶圓運行。AI從思考變閃現，實時智能時代真的來了？

根據各方爆料，GPT-5.6馬上就要向全民開放了。

最近，關于這個模型的各種猜測，已經在X上火起來。

6月26日，OpenAI曾正式宣布全新一代GPT-5.6家族。

而且在官博里有這么一句：OpenAI計劃于本月在芯片巨頭Cerebras的定制硬件上推出全新前沿模型——GPT-5.6 Sol，推理速度達到了令人膽寒的每秒750個Token！

也就是說，過去需要等待幾分鐘的復雜Agent操作，現在眨眼間就可以完成。

顯然，OpenAI已經在硬件與模型協同設計上率先邁出了顛覆性的一步。

再加上不久前史上首款自研AI推理芯片Jalape?o正式曝光到曝光，我們可以感覺到，OpenAI已經有了成為全棧AI帝國的野心。

天下武功唯快不破：

750 Tokens/s 的降維打擊

「每秒750個Token」是什么概念？

對于人類來說，這相當于一秒鐘閱讀并輸出大約500到600個漢字。

你眼前的這段文字，GPT-5.6 Sol只需要不到零點幾秒就能生完。

在X上，知名開發者Caleb Shepherd激動地表示：「這是我最興奮的事情，GPT-5.6 Sol運行在Cerebras上。不僅僅是因為寫代碼的速度變快了，更是因為計算機使用的速度迎來了質變。我們再也不用為了等AI點擊一個按鈕而苦等兩分鐘了。」

長期以來，雖然大模型變得越來越聰明，但「推理延遲」一直是實時交互多步Agent任務中落地的最大瓶頸。

當模型大到擁有數萬億參數時，傳統的GPU集群在節點間通信（NVLink互聯）上往往會遇到物理瓶頸。

而OpenAI給出的答案是：不要讓模型去適應硬件，要讓硬件和模型融為一體。

根據官方披露的初步信息，GPT-5.6 Sol將在7月份以極其有限的規模向特定客戶開放，隨著產能的爬坡才會逐漸鋪開。

大家在網上所猜測的那樣，這絕對是一項極其昂貴的服務，是為那些愿為速度買單的頂級企業量身定制的特權。

3萬億參數巨獸如何塞進芯片？

當750 Tokens/s的消息傳出時，LLM Arena的負責人Peter Gostev提出一個所有人都疑惑的問題：

GPT-5.6 Sol在Cerebras上到底是怎么回事？據我所知，這似乎是完整的同一個模型（包含視覺等多模態能力），而不是像以前GPT-5.3-Codex-Spark那樣閹割了視覺和上下文的殘血版。

但我的理解是，Cerebras的單芯片頂多只能裝下7000到9000億參數的模型。那么，是模型變小了？還是有我不知道的新型芯片？或者是某種多芯片協同的新技術？

這個疑問立刻引發了諸多網友的探討。

有人戲稱，大家這是在「午夜進行法醫級別的芯片審計」，并表示「如果這真的是同一個完整模型，那就像是有人把一艘超級游輪硬塞進了一個玻璃瓶里，而且還不告訴你怎么做到的。」

很快，資深技術專家Bleys Goodson給出了一份極具說服力的硬核推演——

GPT-5.6 Sol 并非塞進了一張芯片，而是橫跨了70到100張Cerebras晶圓級芯片！

極致的部署美學：「一晶圓，一層網絡」

業內專家估算，GPT-5.6 Sol的規格極其龐大：

• 總參數量： 約3萬億

• 激活參數： 約1500億

• 網絡層數： 約70到90層

為了獲得健康的推理服務特性，OpenAI和Cerebras采用了一種極其奢侈且震撼的部署方式——將每一層神經網絡，單獨部署在一整張Cerebras晶圓上。

正如一位網友所指出的，通過增加流水線階段，只要你有足夠多的晶圓將它們鏈接起來，理論上你可以擴展到任意大小的模型，這不會影響Token的生成速度，只可能對首Token時間TTFT有輕微影響。

壯士斷腕的架構重構——被逼出來的輕量化KV Cache

然而，光有海量晶圓還不夠。Cerebras芯片架構的一大特點是擁有海量的片上SRAM（靜態隨機存取存儲器），速度極快，但容量極其珍貴。

如果OpenAI像過去一樣，在GPT-5.6 Sol中使用傳統的重型KV緩存），那這些昂貴的SRAM帶寬將被瞬間吃干抹凈。

這就引出了本次合作最核心的戰略轉向：圍繞特定硬件進行模型重構。

Bleys Goodson指出，既然OpenAI深入參與了硬件協同設計，他們極大概率放棄了傳統的注意力機制緩存方案，轉而采用了更前沿的輕量化設計。

最有可能的方案包括：

1. 類似DeepSeekV4的架構： 極度優化緩存占用。

2. 混合SSM設計： 將Mamba等線性時間復雜度的模型與Transformer結合，徹底甩掉KV Cache的歷史包袱。

此外，知名開發者John Lam還提出了一個驚艷的猜測——注意力與FFN解耦。

他推測，OpenAI可能正在使用傳統GPU來處理注意力計算，而用海量的Cerebras晶圓來暴力強推前饋神經網絡部分的計算。

這絕非空穴來風。網友們很快扒出了Cerebras此前在博客中關于Kimi K2.6的部署細節：

Cerebras在CS-3系統上將Kimi K2.6的原始權重以4-bit存儲，同時以16-bit浮點進行計算以保證精度。權重分布在多個晶圓上，激活值在晶圓間流式傳輸。層與層之間的全互聯通信完全依靠晶圓上的網絡結構，其帶寬是Nvidia NVL72上NVLink的200倍以上！結合自定義算子和投機解碼，他們能以接近1000 tokens/s的速度運行萬億參數的MoE模型。

官方規格顯示，革命性的CS-3系統不僅速度無敵，而且在單個邏輯設備上就能輕松擴展到24萬億參數的模型！

正如有人驚嘆的那樣：「如果這真的是完整版的Sol跑在Cerebras上，那么所有人預設的模型大小天花板，就在今夜被直接捅破了。」

真正的底牌——OpenAI首發自研芯片「Jalape?o」

而且就在此前，OpenAI正式發布了史上第一顆自研芯片——Jalape?o。

這顆芯片的問世，直接解釋了OpenAI與Cerebras合作的深層邏輯：通過在第三方頂尖推理硬件上的探索，OpenAI徹底摸清了專用推理架構的命門和價值，并將其轉化為自身可控的底層平臺。

Jalape?o是墨西哥辣椒中辣度最溫和的品種之一。OpenAI拿它命名，顯然是表明：這只是開胃小菜。

這顆芯片，是專為大模型推理設計的定制ASIC。從畫下第一根線開始，它的每一個晶體管都只為一件事優化：跑大模型。

令人意外的是，Jalape?o不僅跑OpenAI自家的模型，其架構還兼容全行業的LLM，展現出了極大的平臺野心。

而且，這顆芯片的設計和流片只用了短短9個月。

這背后，是極其強大的產業聯盟：

架構主導：OpenAI 親自操刀底層架構設計。

芯片實現與互聯：芯片巨頭博通提供強大的實現能力和網絡互聯技術支持。

系統集成：Celestica 負責最終的板卡制造和機架級物理集成。

吃掉整條產業鏈，OpenAI的全棧帝國野心

模型自己訓，芯片自己設計，推理自己優化，部署自己控制。

顯然，OpenAI的目標，是一個龐大的全棧AI帝國。

但OpenAI的野心比Apple和Google還要瘋狂，他們擁有一個前所未有的超級飛輪：用AI來加速AI基礎設施的建設，再用建好的更強基礎設施，去運行更強大的AI。

按照OpenAI公布的宏偉藍圖，首批GW級超級數據中心將從2026年底開始，與微軟等核心合作方共同部署。

一座中型城市的全部用電量，將用來驅動Jalape?o和下一代辣椒芯片的推理機架。

準備好，很快，我們即將迎接GPT-5.6 Sol在Cerebras晶圓上以750 Tokens/s的速度狂飆，打破參數與推理速度的物理魔咒。

參考資料：

https://x.com/bleysg/status/2073937651150029084

編輯：Aeneas