這個(gè)13歲少年用“猴子補(bǔ)丁”做了個(gè)LLM燒錢(qián)追蹤器

TokenShark的GitHub倉(cāng)庫(kù)掛出來(lái)那天，作者在README里寫(xiě)的第一句話是：“我13歲。”這個(gè)名叫TokenShark的Python工具只做一件事——在你跑大模型的時(shí)候，實(shí)時(shí)告訴你燒了多少錢(qián)。不是事后看賬單，不是切到另一個(gè)SaaS后臺(tái)刷新，而是終端里直接跳出一行數(shù)字，像出租車(chē)計(jì)價(jià)器那樣跳。

它的接入方式也簡(jiǎn)單得過(guò)分。一行import tokenshark，不需要API key，不需要注冊(cè)賬號(hào)，不需要把請(qǐng)求轉(zhuǎn)發(fā)到某個(gè)第三方服務(wù)器。所有計(jì)算都在本地完成，token計(jì)數(shù)、單價(jià)換算、緩存折扣，全部在你的機(jī)器上跑。用作者的話說(shuō)，“沒(méi)有流量離開(kāi)你的機(jī)器”。

這件事的起源不復(fù)雜。一個(gè)寫(xiě)AI應(yīng)用的開(kāi)發(fā)者，調(diào)用了幾輪API之后突然意識(shí)到賬單已經(jīng)爆了。他想找一個(gè)能實(shí)時(shí)看到花費(fèi)的工具，結(jié)果發(fā)現(xiàn)市面上要么是SaaS后臺(tái)要登錄，要么是代理轉(zhuǎn)發(fā)要改架構(gòu)，要么干脆沒(méi)有流式輸出場(chǎng)景下的計(jì)費(fèi)方案。于是他決定自己寫(xiě)一個(gè)。

真正有意思的部分在架構(gòu)選擇上。TokenShark用來(lái)掛鉤OpenAI和Anthropic這些SDK的方式，是猴子補(bǔ)丁——運(yùn)行時(shí)直接修改第三方對(duì)象的內(nèi)部方法。作者在文檔里坦白交代了三層考量：第一層，代理方案要攔截網(wǎng)絡(luò)流量，引入延遲，拖慢流式響應(yīng)的速度；第二層，包裝器方案要求開(kāi)發(fā)者改調(diào)用鏈，換了SDK版本就可能崩；第三層，猴子補(bǔ)丁零侵入，一行import搞定，代價(jià)是“修改了你不擁有的代碼”。他在文檔里用了一整段加粗加??符號(hào)來(lái)標(biāo)注這一點(diǎn)，承諾正式版會(huì)把每個(gè)被修改的類(lèi)和方法寫(xiě)得清清楚楚。

產(chǎn)品功能倒是切得精準(zhǔn)。零配置啟動(dòng)，實(shí)時(shí)終端輸出，價(jià)格計(jì)算把各家prompt caching的折扣都算進(jìn)去了——這意味著如果你的請(qǐng)求命中了緩存，TokenShark顯示的不是原價(jià)，而是打折后的實(shí)際扣費(fèi)。還有一套metadata標(biāo)簽系統(tǒng)，可以按請(qǐng)求維度打標(biāo)篩選，方便你把不同項(xiàng)目、不同環(huán)境的成本拆開(kāi)看。

路線圖里列了三件事：Slack集成，預(yù)算告警直接推到團(tuán)隊(duì)頻道；本地Web面板，可視化歷史花費(fèi)趨勢(shì)；手機(jī)App，躺在床上也能看生產(chǎn)環(huán)境的API燒錢(qián)速度。正式發(fā)布日期定在7月17日，但早期版本會(huì)更早放出來(lái)。Discord服務(wù)器已經(jīng)搭好，他在里面直接跟用戶(hù)聊需求和bug。

評(píng)論區(qū)最值得玩味的一條回復(fù)來(lái)自作者自己：“因?yàn)槲也?3歲，沒(méi)有一整個(gè)測(cè)試團(tuán)隊(duì)——只有我自己。TokenShark還在早期階段，bug肯定有。請(qǐng)你們狠狠地用，摔壞了告訴我，這樣我才能把它修好。”一個(gè)13歲的開(kāi)發(fā)者，選擇了一種有爭(zhēng)議的技術(shù)方案，把架構(gòu)決策的代價(jià)和收益公開(kāi)攤在桌上，然后邀請(qǐng)所有人來(lái)挑刺。這種透明度和對(duì)反饋的饑渴程度，比很多拿了種子輪的團(tuán)隊(duì)都高。