Groq創始人深度洞察 ：推理越快=模型越聰明？

本文來自PRO會員通訊內容，文末關注「機器之心PRO會員」，查看更多專題解讀。

在人工智能基礎設施的演進歷程中，推理速度長期被業界視為一項單純的工程優化指標，其價值主要被限定在改善用戶體驗與降低服務成本的范疇內，而非決定模型智能上限的核心變量。然而隨著智能體應用的爆發式增長與實時交互需求的急劇攀升，這一傳統認知正在經歷深刻修正。

Groq 創始人兼 Google TPU 發明者 Jonathan Ross 指出，推理延遲的降低并非僅僅讓響應變快，而是直接擴展了模型的搜索深度與反思能力。他進一步闡明 GPU 與 LPU 的互補關系如何提升推理速度，并揭示了少約束、高置信與去政治化的領導力體系怎樣幫助組織找準方向并贏得競爭？

目錄

01. GPU+LPU 如何提升 LLM 的智能水平？

推理速度如何影響大模型智能水平？GPU 與 LPU 如何實現架構互補?...

02. 什么樣的領導力才能幫助組織找準方向并贏得競爭？

什么是「現實商數」與「制造不滿」？

03. AI 時代正在經歷怎樣的范式轉移？

代碼配給制終結將如何重構工程生產關系？...

GPU+LPU 如何提升 LLM 的智能水平？

1、Groq 創始人兼 Google TPU 發明者 Jonathan Ross 近期接受訪談，圍繞過去十年從創立 Groq 到最終并入英偉達的創業歷程，系統闡述了其決策邏輯、領導力蛻變、債務危機、招聘標準以及與英偉達 200 億美元交易的全程。

①Groq 由前 Google TPU 團隊工程師 Jonathan Ross 于 2016 年創立，率先推出專為 AI 推理設計的 LPU（Language Processing Unit）架構，與依賴高帶寬存儲、擅長訓練與通用計算的 GPU 形成對比。

② 2025 年 12 月 英偉達以 200 億美元向 Groq 支付費用，獲得其 IP 授權并聘請了大部分團隊成員，后在 2026 年 3 月 NVIDIA GTC 2026 現場發布了搭載 Groq LPU 的 NVIDIA Vera Rubin 平臺。

2、外界常將 Groq 視為 NVIDIA 的挑戰者，而 Jonathan Ross 在訪談中明確 GPU 與 LPU 實為互補關系。他以美國物流網絡的建立作比，若只能選擇 18 輪重卡或最后一公里配送貨車中的一種，答案顯然是都要。

① 在 LLM 推理過程中，不同計算環節面臨不同的瓶頸，注意力機制（Attention）受限于算力，而權重應用（Weight Application）則受限于內存帶寬。

② Jonathan Ross 在訪談中分享了其團隊的測試結果，將計算密集型任務分配給 GPU、內存吞吐密集型任務交給 LPU，可在全性能曲線上實現更優表現，而這一整合方案最初由 Groq COO Sunny Madra 提出，經由團隊驗證。

③ 當他們向黃仁勛展示成果并表達采購 10 萬塊 GPU 的意向時，黃仁勛當即判斷該技術應面向所有客戶開放。從首次溝通到 200 億美元交易完成、資金到賬，全程僅耗時三周。

3、基于 GPU 與 LPU 的互補的基礎，Jonathan Ross 在對話中提出了」模型越快越聰明「這一觀點，推理速度的提升，不僅解決了工程效率問題，同時提升了模型智能水平。他以「快思考與慢思考」的理論作為類比，表示推理速度的提升直接擴展了模型的反思與探索能力，從而具體局面下能找到全局更好的路徑。

① Jonathan Ross 以 AlphaGo 為例， AI 面對棋盤上 270 種可能走法時，會對它們進行排名并虛擬演練。更快的硬件允許它在相同時間內搜索更深的決策鏈，從而發現原本因計算深度不足而被忽略的最優解。

② AlphaGo 模型在 GPU 上 ELO 評分約 3200，遷移至 TPU 后躍升至 3900 以上。

③ 在 AlphaGo 與李世石的對局中，著名的「Move 37」在訓練數據中曾出現（萬分之一概率），但在 GPU 上運行時未被找到，因為它在搜索鏈中太深了。當 TPU 提供了足夠的推理速度，這一步創造性的走法才被「思考」出來。

4、由速度帶來的智能提升，也能提升多智能體的協作效率。Jonathan Ross 認為當 AI 調用其他 AI 時，人類可容忍的 1 至 2 秒延遲對機器而言是一種浪費，而 LPU 帶來的極速響應可使 Agent 能以接近自身思維節奏運行。

① 他以個人實踐為例。他的 AI 助理會在主任務執行期間自動啟動子 Agent 調研備選工具，進而形成自我強化的工作流。

什么樣的領導力才能幫助組織找準方向并贏得競爭？

在企業發展與策略制定話題中，Jonathan Ross從組織、決策與人才維度分享AI企業商業化觀點與實操教訓。他提出量化核心目標、意向性領導與信息透明機制，并以現實商數和制造不滿為標準篩選適配長周期競爭的人才...

關注「機器之心PRO會員」，前往「收件箱」查看完整解讀