![]()
測試匯總:
“Token”并非固定的文本量。每家供應商的tokenizer會將同一份文件分割成不同數量的片段,而你按片段付費。因此,不同供應商之間的$/Mtok(每百萬token價格)是不可直接比較的。
Anthropic最新的tokenizer(Sonnet 5, Opus 4.8, Fable 5)對相同的代碼產生的token數量比其之前的版本多約30%。標價并未改變。
在相同的文件上,它產生的token數量是GPT的1.36至1.73倍。TypeScript是最壞的情況,達到了1.73倍。
從有效成本來看,Opus 4.8的$5 / $25標價實際相當于$7.50 / $37.50,而Sonnet 5在促銷期結束后則相當于$4.50 / $22.50。
此分析僅衡量輸入token化。輸出內容的長度、思考過程以及緩存會使整個任務的賬單進一步變化;詳情見末尾。
我們使用每家供應商自己的計數端點,對所有前沿模型的tokenizer統計了相同字節數,并與實際付費請求的計數進行了交叉核對。以下是具體數字以及它們對價目表上價格的實際影響。
![]()
●為什么$/Mtok不是可比價格
模型的賬單是兩個數字的乘積:
成本 = (你的內容轉換成的token數) x (每個token的價格)
定價頁面顯示的是第二個數字,并將第一個數字視為常數。但它并非常數。它取決于模型的tokenizer,而不同供應商的tokenizer差異很大。兩個模型可能都標著“$5.00 / 1M 輸入token”,但對于相同的段落,它們產生的賬單卻可能大不相同,因為其中一個會將該段落轉換成更多的token。由于沒有人公布每個token對應的內容量數據,我們進行了測量。
●測量方法
我們選取了16個真實樣例:英文散文、HTML頁面、JavaScript、Python、TypeScript和Rust文件、JSON工具架構和工具結果、中文對話和散文、含大量符號的文本,以及我們自己的Agent系統提示詞。我們使用每個模型的生產環境tokenizer,對每個樣例逐字節進行了計數:
1. Anthropic模型使用官方的count_tokens端點進行計數,該端點返回的計數與Anthropic計費的依據相同。
2. OpenAI模型使用文檔中記錄的o200k_base tokenizer,通過tiktoken庫進行計數。對于最新模型,我們通過與生產環境進行雙重檢查:我們向GPT-5.1、GPT-5.5和GPT-5.6 Sol發送了真實的API調用,并使用“長文本減短文本”差值法(以抵消請求框架的影響)將實際使用量與本地計數進行了比較。三者均與o200k_base完全匹配。
3. Gemini和Grok使用其提供商提供的token計數端點。
在整個分析中,GPT的o200k作為1.00倍基準,主要因為它已經凍結并被公開文檔記錄超過兩年,而Claude的tokenizer則是發生變化的那一個。DeepSeek和GLM被完全排除在表格之外:我們只有粗略的“字符數除以四”的估算值,沒有真實的tokenizer計數,而本文關注的是實際測量數據。
●發現:相同標價,token數多約30%
Claude Opus 4.6 和 Opus 4.8 的標價同為 $5.00 / $25.00。兩者之間的變化在于tokenizer。Sonnet 4.6 和 Opus 4.6 使用舊版tokenizer;Sonnet 5、Opus 4.8 和 Fable 5 使用新版。下表統計了相同的字節在Anthropic自己的端點上使用新舊tokenizer的計數結果:
內容
舊版Tokenizer
新版Tokenizer
變化
英文散文 (2,115字符)
476
636
+34%
HTML頁面 (3,195字符)
1,131
1,302
+15%
JavaScript (1,933字符)
659
794
Python (2,251字符)
831
1,022
+23%
TypeScript (2,888字符)
898
1,178
+31%
Rust (2,924字符)
1,019
1,312
+29%
JSON工具架構 (9,948字符)
2,631
3,306
+26%
我們的Agent系統提示詞 (42,661字符)
10,761
14,953
+39%
中文散文 (379字符)
435
433
如果按照真實的Agent請求構成(主要是英文系統提示詞、工具架構、代碼和JSON)對這些行進行加權,新版tokenizer每個請求大約增加+32%的token數。中文那一行幾乎沒有變化,因此token膨脹主要集中在英文和代碼上。
●Sonnet 5的發布價格,重新計算
Sonnet 5發布時的價格為 $2.00 / $10.00,低于Sonnet 4.6的 $3.00 / $15.00,看似是降價。但這是一個促銷價,將于2026年8月31日結束。在促銷期間,較低的費率略高于抵消額外的token數,因此對于相同的代碼,Sonnet 5實際上比4.6稍便宜一些。從9月1日起,價格將回調至 $3.00 / $15.00,額外的token數依然存在,在相同的標價下,完成相同工作的成本將比Sonnet 4.6時高出約三分之一。
●通過實際賬單驗證計數器
counttokens 是一個預測值,因此我們也發送了真實的付費請求(設置 maxtokens: 1),并讀取了 usage.input_tokens,這是賬單計費的依據。對于相同的內容,Opus 4.6 計費了 2,541 個輸入token,Opus 4.8 計費了 3,191 個,每個都與它們的預測計數完全匹配。我們對Fable 5(該系列中最昂貴的模型)也進行了同樣的檢查,它計費了 3,191 個token,與 Opus 4.8 相同。因此,Fable 使用相同的新版tokenizer,并且其更高的標價背后沒有隱藏額外的每token加價。整個驗證過程花費約0.08美元。
●發現:代碼上的差距最大
跨供應商表格以GPT的o200k作為1.00倍基準。每個單元格的值是該模型對相同文件的token計數除以GPT的token計數,因此1.20倍意味著比GPT多20%的token。Claude的新舊tokenizer并排顯示:
內容
Claude (新版)
Claude (舊版)
Gemini 3 Flash
Grok 4.5
TypeScript
1.73x
1.32x
1.16x
1.05x
Rust
1.58x
1.22x
1.19x
1.05x
JavaScript
1.52x
1.26x
1.23x
1.11x
Python
1.50x
1.22x
1.20x
1.09x
HTML頁面
1.36x
1.18x
1.08x
1.04x
英文散文
1.40x
1.05x
1.01x
1.00x
中文散文
1.44x
1.45x
0.85x
0.86x
中文對話
1.53x
1.55x
0.91x
0.92x
代碼行的數值遠高于散文行:TypeScript為1.73倍,Rust為1.58倍,JavaScript為1.52倍,Python為1.50倍,而英文散文為1.40倍。代碼是編程Agent處理的主要內容,因此對于此類工作負載,1.50-1.73倍的范圍是相關的。
為什么TypeScript是最壞的情況?因為o200k在處理TypeScript時異常高效:大約每個token對應4.24個字符,這看起來像是在大量網絡JavaScript和TypeScript上訓練的結果,其中駝峰式標識符和JSX模式能被壓縮成單個token。而在Rust上,其效率下降到大約每個token 3.51個字符。Claude的tokenizer在兩種語言上的密度大致相同,因此差距最大的地方恰恰是GPT最強的地方。
中文表現不同。無論是舊版還是新版tokenizer,Claude都比GPT高出約1.45-1.55倍(在散文樣例上為435對433個token,而GPT為300個),因此這是Claude系列在CJK文本上的長期屬性,并非新版tokenizer引入的。實際上,Gemini在這里比GPT更高效,為256個token。哪種tokenizer對你來說成本更高,取決于你寫什么。
●這對價格意味著什么
將標價乘以測量到的差異,就能得到處理相同工作的有效價格。這里的差異是典型英文編碼請求的混合倍數,以GPT的o200k為標準:
模型
標價 輸入/輸出 ($/Mtok)
差異倍數
有效價格 輸入/輸出 ($/Mtok)
GPT-5.1
$1.25 / $10.00
1.00x (基準)
$1.25 / $10.00
GPT-5.5
$5.00 / $30.00
1.00x
$5.00 / $30.00
GPT-5.6 Sol
$5.00 / $30.00
1.00x (已驗證)
$5.00 / $30.00
Grok 4.5
$2.00 / $6.00
1.03x
$2.06 / $6.18
Gemini 3 Flash
$0.50 / $3.00
1.09x
$0.55 / $3.27
Claude Sonnet 4.6
$3.00 / $15.00
1.14x (舊版tokenizer)
$3.42 / $17.10
Claude Sonnet 5 (促銷價)
$2.00 / $10.00
1.50x (新版tokenizer)
$3.00 / $15.00
Claude Sonnet 5 (自9月1日起)
$3.00 / $15.00
1.50x
$4.50 / $22.50
Claude Opus 4.6
$5.00 / $25.00
1.14x (舊版tokenizer)
$5.70 / $28.50
Claude Opus 4.8
$5.00 / $25.00
1.50x (新版tokenizer)
$7.50 / $37.50
Claude Fable 5
$10.00 / $50.00
1.50x (新版tokenizer)
$15.00 / $75.00
有幾行值得再看一眼。Opus 4.6和4.8標價相同,但有效價格相差約32%。GPT-5.5和GPT-5.6 Sol共享tokenizer,因此它們相同的標價在效果上確實是相同的。Gemini 3 Flash運行的tokenizer比GPT略重,但仍以較大優勢保持為最便宜的選擇。
作為一個獨立數據點:Ploy本周發布了一份遷移到GPT-5.6 Sol的生產報告,稱在相同的構建任務中,輸入token數為170萬,而Claude Opus 4.8為260萬,大約減少了35%。這衡量的是整個任務的賬單而非單純的tokenizer探測,因此它也包含了模型輸出的長度因素,但指向了相同的方向。
●輸入比例未涵蓋的內容
以上所有內容只衡量了一件事:相同的字節變成了多少個輸入token。一個完整的Agent任務在此基礎上增加了更多變量,而且這些變量影響很大。模型為達到相同結果花費了多少輸出和思考token?執行器每步加載了多少上下文?它調用工具或產生子Agent的頻率如何?供應商如何對緩存讀取和寫入定價?
有兩個后果值得明確指出。首先,緩存流量也按token計費,因此一個產生32%更多token的tokenizer也會使每次緩存寫入和讀取的成本增加約32%,并且在長時間的Agent會話中,緩存讀取占據了賬單的大部分。其次,一旦將輸出長度和思考過程計入,整個任務的成本差異可能遠超1.73倍,向任一方向都有可能。當人們報告某個模型在Agent任務上“使用的token是另一個模型的2-4倍”時,這在他們特定的設置下可能是真的,即使我們樣本中純輸入token化的差距從未超過1.73倍。這兩個數字衡量的是不同層面。
按內容類型劃分,我們測量到的Claude新版tokenizer相對于GPT的o200k的輸入側范圍是:散文、HTML和JSON為1.36-1.42倍;代碼為1.50-1.73倍,其中TypeScript最高;中文和含大量符號的文本為1.44-1.53倍。我們將TypeScript放在標題中,因為它既是范圍的最高點,也是編程Agent整天處理的內容,而非因為所有情況都是1.73倍。
我們還在后續研究中直接測量了每個任務層的成本:九個相同的模型,分別給定一個相同的繪圖任務,各嘗試一次,每次嘗試都根據提供商自己的使用量數據定價。相同的繪圖任務,根據模型和推理力度,成本從$0.004到$0.80不等,而最大推理力度導致三個模型完全無法完成任務。
●如何比較模型價格
1. 基于你自己的內容進行比較。你的語言和文件類型決定了倍數,因此在信任價目表之前,請通過每個tokenizer運行一個有代表性的樣本。
2. 將tokenizer變更視為價格變更。當供應商以相同標價發布新模型時,請檢查tokenizer是否發生了變化。從Opus 4.6到4.8是約32%的增長,而任何賬單上都沒有這個項目。
3. 衡量每完成一個任務的美元成本,而非每token的美元成本。這個單一數字同時包含了token化、輸出長度、思考過程和緩存,而提供商的usage字段為你計算它提供了真實數據。
4. $/Mtok作為開場信息仍然有用。但它不夠充分,并且在不同tokenizer之間不可比較。供應商明天就可以通過同時發布每字節的價格來解決這個問題;在有人這樣做之前,轉換工作就落在你身上了。
以上內容并不意味著某一個模型普遍正確。GPT-5.x在英文和代碼上是token效率最高的選擇,Gemini 3 Flash在有效價格上非常便宜,而Claude模型即使運行成本更高,也憑質量贏得了自己的地位。只需確保你比較的價格是在考慮tokenizer之后你實際支付的價格。
來源:Anthropic定價 (anthropic.com/pricing),OpenAI定價 (platform.openai.com/docs/pricing),Google Gemini API定價 (ai.google.dev),xAI定價 (docs.x.ai)。Token計數來自Anthropic的counttokens端點,OpenAI的o200kbase(已通過實時API使用情況驗證),以及Google和xAI的計數端點。生成這些計數時未使用任何文本生成技術。
? THE END
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.