北京
OpenRouter編程流量的實測數據，把AI編碼成本的老問題徹底翻了個面。Paul Kinlan用公開使用排名和一套可復現腳本，對OpenRouter API做了次流量解剖。結果發現，一個編程會話消耗的token中，93.4%都是輸入，推理占2.5%，輸出僅4.0%。這組數字出自Hacker News上一個471分的熱帖，當時討論的焦點正是各種輸出壓縮技巧。就算讓模型閉嘴，能優化的也不過是那4%的問題。
有人堅信輸出是成本黑洞。模型動不動就拋長篇說明，多輪對話里歷史響應越滾越長，直覺上，砍輸出就是省錢。CLAUDE.md這類指令文件方案，試圖讓回復更緊湊，把優化火力對準這4%。當你看聊天記錄，多數眼睛也會落在AI生成的那一坨文字上，自然會覺得管住它的嘴就管住了錢包。
但流量解剖圖擺在那里，93.4%的輸入占比讓另一方的論據硬得像石頭。當一個編碼智能體在真實項目里工作時，每次對話回合都在瘋狂吸入上下文：讀文件理解當前狀態，構建輸出、測試結果和錯誤日志被追加上去，工具調用的返回結果不斷喂回來，上一輪整個響應作為歷史原封不動向前滾動。一個中等規模代碼庫上的典型智能體會話，單次任務就能吞下數萬甚至數十萬個輸入token，而模型吐出的答案只占其中零頭。比例不是1:1，是50:1往上的傾斜。
輸出壓縮在這樣一個50:1的問題面前，只針對了零頭的4%。其他工具已經從不同角度切進了輸入這一側。RTK在GitHub上收獲了70.4k顆星，是一個Rust寫的命令行代理，它會截獲發給模型的shell指令輸出，重寫成緊湊形態——剝離樣板行、歸并同類輸出、截斷長日志。它對git status、cargo test這些命令聲稱能砍掉60%到90%的token，覆蓋范圍涉及git、測試運行器、Docker、AWS等百余條命令。MemStack是一套為Claude Code設計的結構化技能框架，免費版和專業版加起來有125個以上的技能，技能按需加載，還包含了會話記憶和項目交接的能力，它解決的是另一個痛點：每次會話開頭都要從零重新加載同一套項目上下文。claude-mem把智能體在一個會話期間的一舉一動全部抓下來，用AI做壓縮，再把相關上下文注入到未來的會話里，相當于給跨會話的持久記憶打了補丁。ORY的Lumen打的是本地語義搜索，智能體只拉取和當前查詢最相關的代碼片段，而不是整份文件。Headroom則是一個API代理，在請求載荷離開本機前施加通用壓縮。
這些工具在功能上基本互為補充，但誰都沒有去碰那個最根本的結構性問題：代碼庫本身，是作為原始文本被整塊塞進去的。當智能體需要理解一個函數，典型做法就是把整個文件讀進來。AST折疊和只加載必要代碼片段的路子，還沒有成為默認。這意味著你的代碼庫就是你最沉重的那筆上下文賬單，而輸出壓縮連賬單上的零頭都抹不平。盯著4%費勁，不如回頭看一看那93%里還能拆出多少重復和冗余。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
