英偉達出手，GLM 5.2 本地部署，成本驟降50%

兄弟們

我已經確信GLM5.2的諸多能力確實已經與Claude 旗艦模型不相上下了

剛刷到知名代碼安全公司 Semgrep 發了一篇博客，標題直接叫「We have Mythos at Home」。他們用 IDOR（越權漏洞）檢測基準，把 GLM-5.2、Claude Code、GPT-5.5 等一眾模型拉出來跑了個遍

結果您猜怎么著？在完全沒有任何外掛腳手架、只給一個 Prompt 的"裸跑"條件下，開源的 GLM-5.2 拿下了 39% 的 F1 分數，排名第三，僅次于 Semgrep 自家帶完整 harness 的流水線（61% 和 53%），直接超越了 Claude Code（37%）和 Claude Opus 4.8（28%）

最關鍵的是成本——GLM-5.2 每發現一個漏洞只需要 0.17 美元，只有頂尖閉源模型的六分之一。Semgrep 的研究人員自己都說"genuinely shocked"

排名

模型

運行方式

F1 分數

1

Semgrep Multimodal (GPT 5.5)

完整 harness

61%

2

Semgrep Multimodal (Opus 4.8)

完整 harness

53%

3

GLM 5.2純 Prompt（無腳手架）39%

4

Claude Code (Opus 4.6)

Claude Code SDK

37%

5

Claude Code (Opus 4.8/4.7)

Claude Code SDK

28%

6

MiniMax M3

純 Prompt

23%

7

Kimi K2.7 Code

純 Prompt

22%

8

GPT-5.5

Codex

20%

這說明什么？說明 GLM-5.2 已經是目前開源大模型里絕對的第一梯隊

問題只剩一個——這貨 753B 的參數量，誰部署得起？

今天英偉達給出了答案

GLM-5.2 到底有多猛

先花一分鐘了解下為什么這么多人饞這個模型

GLM-5.2 是 ZAI（智譜）最新的旗艦模型，采用 MoE（混合專家）架構，總參數 753B，每個 token 激活 40B。MIT 協議開源，沒有地域限制，商用、研究隨便搞

它的幾個核心賣點讓同行壓力山大：

• 1M token 實打實的長文本：這個 1M 不是花架子。ZAI 用了自研的 IndexShare 稀疏注意力機制，每 4 層共享一個 indexer，在 1M 上下文長度下把每 token 的 FLOPs 降低了 2.9 倍。長文本不掉智商，這是最難的

• 代碼能力直追閉源天花板：SWE-bench Pro 62.1（Claude Opus 4.8 是 69.2，GPT-5.5 才 58.6）；Terminal Bench 2.1 得分 81.0，接近 Claude 的 85 分；FrontierSWE 74.4 分直接超過 GPT-5.5（72.6）

• 推理能力炸裂：AIME 2026 數學競賽 99.2 分，GPQA Diamond 博士級科學推理 91.2 分，屬于開源模型里"別人還在追的時候你已經到了"的水平

• MTP 推測解碼優化：改進后的 MTP 層讓推測解碼的接受長度提升了 20%，實際使用時延遲會更低

看完這些跑分，你就明白為什么 Semgrep 的安全研究員會說"把 GLM-5.2 加進基準純屬好奇，結果出來后我們自己都震驚了"

痛點：753B 誰跑得起

然而現實很骨感

753B 的 MoE 模型，即使用 FP8 精度，部署一套也需要至少 8 張高端 GPU。對大多數團隊來說這就是一道墻——模型再好，跑不起來等于零

這就是為什么英偉達這次出手意義重大

英偉達祭出 NVFP4：顯存腰斬，性能不掉

6 月 25 日，英偉達在 Hugging Face 上悄悄上架了nvidia/GLM-5.2-NVFP4

這個模型是英偉達用自家的 Model Optimizer（nvidia-modeloptv0.46.0）對 GLM-5.2 進行 NVFP4 量化后的產物。簡單來說就是把權重和激活值從 FP8 壓縮到 FP4，顯存占用直接腰斬

Nvidia Model Optimizer

量化策略很講究——它只對 MoE 專家層里的 Transformer block 線性算子做量化，共享專家層（Shared Expert）完全保留原始精度。這種"該省省、該花花"的策略是精度損失極小的關鍵

來看看實際跑分對比，數據來自 NVIDIA 官方：

精度

GPQA Diamond

SciCode

IFBench

AA-LCR

τ2-Bench Telecom

FP8（基線）

97.9

NVFP4

看到沒有？GPQA Diamond 這種博士級科學基準，從 89.52 到 89.39，差了 0.13，完全在誤差范圍內。更離譜的是 IFBench 和 τ2-Bench Telecom 兩項，NVFP4 反而比 FP8 還高。壓縮到一半精度還能漲分，這屬于賺到了

GLM-5.2 FP8 vs NVFP4 部署成本對比 部署實戰：SGLang 和 vLLM 兩條路

英偉達把部署體驗也安排得明明白白，目前官方支持 SGLang 和 vLLM 兩大推理框架

方案一：SGLang（官方推薦）

用最新的 SGLang 鏡像lmsysorg/sglang:latest，先把 transformers 升到 5.3.0 以上（GLM-5.2 的架構GlmMoeDsaForCausalLM是新的）：

pip install -U "transformers>=5.3.0" && \
python3 -m sglang.launch_server \
    --model nvidia/GLM-5.2-NVFP4 \
    --tensor-parallel-size 8 \
    --quantization modelopt_fp4 \
    --tool-call-parser glm47 \
    --reasoning-parser glm45 \
    --trust-remote-code \
    --chunked-prefill-size 16384 \
    --mem-fraction-static 0.80

方案二：vLLM

習慣用 vLLM 的朋友，直接拉vllm/vllm-openai:v0.23.0鏡像：

vllm serve nvidia/GLM-5.2-NVFP4 \
    --tensor-parallel-size 8 \
    --enable-expert-parallel \
    --trust-remote-code \
    --reasoning-parser glm45 \
    --tool-call-parser glm47 \
    --enable-auto-tool-choice \
    --kv-cache-dtype fp8_e4m3 \
    --host 0.0.0.0 --port 8000

注意幾個要點：

• --enable-expert-parallel是 MoE 模型的關鍵參數，打開專家并行

• --kv-cache-dtype fp8_e4m3把 KV Cache 也壓到 FP8，進一步省顯存

• --tool-call-parser glm47和--reasoning-parser glm45分別對應 GLM-5.2 的工具調用和推理格式

官方測試硬件是 B200 和 B300，也就是 Blackwell 架構的新卡。如果你手里有這些卡，NVFP4 的原生 FP4 計算單元會讓吞吐量直接起飛

Model Optimizer：英偉達的"瘦身工廠"

下面這張圖完整展示了從原始模型到量化部署的全流程：

GLM-5.2 NVFP4 量化部署全流程

順便聊聊這次的幕后功臣——NVIDIA Model Optimizer

之前我介紹過多次

這個工具不是新東西了，之前 DeepSeek-R1、Llama 3.3 70B、Nemotron-3 Super 120B 的 NVFP4 量化版本全都是用它做的。英偉達從 2025 年 1 月開源了這個工具，到現在已經是一條成熟的量化流水線

它支持的優化技術矩陣相當豪華：

• 訓練后量化（PTQ）：模型體積壓縮 2-4 倍，推理直接加速

• 量化感知訓練（QAT）：在量化基礎上通過少量訓練步驟進一步恢復精度

• 剪枝（Pruning）：直接砍掉不重要的權重，Domyn 用它把 355B 模型壓到 260B

• 蒸餾（Distillation）：用大模型教小模型，Bielik.AI 用它做出了小 33%、快 50%、精度保留 90% 的模型

• 推測解碼：訓練 draft 模塊預測額外 token，降低推理延遲

• 稀疏化：只存儲非零參數，進一步壓縮

如果你想自己量化模型，安裝非常簡單：

pip install -U nvidia-modelopt[all]

量化后的模型可以直接部署到 SGLang、vLLM、TensorRT-LLM 等主流推理框架，完全無縫銜接

總結：開源部署的最優解

GLM-5.2 本身已經是開源大模型的巔峰之作

Semgrep 的安全基準測試證明了它在實戰場景中甚至能打贏 Claude Code，而且成本只有后者的六分之一

英偉達這次用 NVFP4 量化把部署門檻壓到了之前的一半。精度幾乎無損，部分指標甚至反超。對于想要在本地部署 AI Agent、RAG 系統、或者需要 1M 超長文本能力的團隊來說，這可能是目前性價比最高的方案

唯一的遺憾是對硬件還有要求——想充分發揮 NVFP4 的優勢，最好用 Blackwell 架構的 B200/B300。但話說回來，Hopper 架構跑也不是不行，只是吃不到原生 FP4 算力的紅利