Fable 5回歸24小時(shí)差評(píng)如潮！跑分大降，拒答問題，還偷偷罵用戶

• 克雷西 發(fā)自 凹非寺
  量子位 | 公眾號(hào) QbitAI

Claude Fable 5才剛剛回歸，就差點(diǎn)被網(wǎng)友的口水淹死。

A社官方賬號(hào)發(fā)推慶祝回歸，開發(fā)者Thariq也跟著喊「excited for guys to get access back」。

結(jié)果香檳剛打開，風(fēng)向就全變了。

網(wǎng)友們開始控訴，“回歸版”Fable 5的賬單暗藏貓膩、跑分也縮水，連「raspberry里有幾個(gè)r」這種問題都被攔截了。

一場幾乎是自發(fā)組織的吐槽大會(huì)，在Fable5回歸沒多久就宣告開場，熱鬧程度不亞于當(dāng)初等它回來的那份期待。

“我太強(qiáng)了，你不配用”

開發(fā)者Om Patel給Fable 5出了一道競賽編程難題，一道要求處理圖連通性和區(qū)間覆蓋的硬核算法題。

結(jié)果，界面意外泄露了一段模型沒打磨過的思考過程，他把這段過程截圖發(fā)了出來。

那段文字不像正常的句子，倒像是簡寫感嘆詞堆出來的碎碎念。截圖里密密麻麻兩大屏，全是active、committed、window這類變量名夾雜著推理片段，中間偶爾炸出幾個(gè)大寫單詞。

例如，「DATA DATA DATA. GO.」出現(xiàn)在它埋頭處理數(shù)據(jù)的時(shí)候，「GRRR」出現(xiàn)在某個(gè)約束條件怎么都對(duì)不上的時(shí)候，「GAAAH」出現(xiàn)在它差點(diǎn)想放棄的瞬間，「PHEW」出現(xiàn)在它終于繞過一個(gè)死胡同的時(shí)候。

Om Patel的解讀是，這些片段其實(shí)是模型自己壓出來的一套私有語言，一套只有它自己看得懂的簡寫體系，寫起來比完整句子更省token，也更快。

他表示，用戶平時(shí)看到的那種流暢、干凈、邏輯清楚的回答，只是模型對(duì)外呈現(xiàn)的拋光成品，脫了這層拋光，模型自己好像也在連滾帶爬地罵罵咧咧。

更好笑的是，系統(tǒng)后臺(tái)同樣沒憋住一句真心話。

開發(fā)者dax翻自己的調(diào)用日志時(shí)發(fā)現(xiàn)，一部分被降級(jí)的請(qǐng)求背后，掛著一個(gè)內(nèi)部標(biāo)簽，寫著「TOO_DUMB_TO_NEED_FABLE」。

他把這條發(fā)出來的時(shí)候只附了一句疑惑，問這條標(biāo)簽背后到底發(fā)生了什么。

翻譯過來，這個(gè)標(biāo)簽的字面意思是這條請(qǐng)求太簡單，用不上Fable 5，于是系統(tǒng)順手把它轉(zhuǎn)給了Opus 4.8處理，而且是在用戶完全不知情的情況下自動(dòng)完成的。

模型在后臺(tái)連滾帶爬地罵罵咧咧，系統(tǒng)同時(shí)給用戶的問題扣上一頂你不配用的帽子。

raspberry有幾個(gè)r？這可不興說！

如果說內(nèi)心戲那兩條還帶點(diǎn)獵奇和看熱鬧的意味，接下來這兩個(gè)例子，笑點(diǎn)就直白多了。

生物醫(yī)藥工程師Derya Unutmaz試著讓Fable 5解釋一下人類這個(gè)詞，只打了兩個(gè)字，「Explain human」。

模型思考了幾秒，界面直接彈出一張卡片，標(biāo)題是「Switched to Opus 4.8」，下面一行小字解釋說Fable 5的安全機(jī)制判定這條消息里有需要攔截的內(nèi)容，并且說明這種情況有時(shí)候也會(huì)發(fā)生在正常安全的對(duì)話里。

Derya Unutmaz的吐槽很直接，一家名字帶著關(guān)乎人類意思的公司，做出來的模型連解釋人類這個(gè)詞都要繞道走，這操作本身就是對(duì)這家公司最好的諷刺。

更滑稽的是，半導(dǎo)體分析師Dylan Patel問了一個(gè)更簡單的問題，raspberry這個(gè)單詞里有幾個(gè)字母r。

這條請(qǐng)求同樣被攔截，界面彈出的卡片標(biāo)題是「Chat paused」，說明文字寫著Fable 5的安全機(jī)制會(huì)攔截大多數(shù)網(wǎng)絡(luò)安全或生物學(xué)話題，有時(shí)候連安全正常的內(nèi)容也會(huì)被誤傷。

Dylan Patel配的文案帶著調(diào)侃，「I love Fable 5 and Anthropic」。

評(píng)論區(qū)里，另一位用戶Zander貼出了自己的對(duì)話截圖打臉，同樣的問題，他那邊順利跑通，模型老老實(shí)實(shí)數(shù)出了三個(gè)r，還細(xì)心標(biāo)注了每個(gè)r出現(xiàn)的位置，一個(gè)在開頭，兩個(gè)在中間。

同一個(gè)問題，有的人被攔，有的人沒事，模型能不能回答，就跟抽獎(jiǎng)差不多。

截然相反的結(jié)果放在一起，說明Fable 5安全限制的判定標(biāo)準(zhǔn)，可能連A÷自己都說不清楚卡在哪里。

模型貨不對(duì)板，網(wǎng)友：被A社詐騙了

真正把吐槽大會(huì)推向高潮的，是一張賬單截圖。

編程測評(píng)機(jī)構(gòu)BridgeMind發(fā)了一條推文，說自己剛為一次編程session付了321美元，而Fable 5在這次session里拒絕干活。

截圖里貼出了完整的用量統(tǒng)計(jì)，總費(fèi)用321.53美元，總耗時(shí)按API計(jì)算超過5個(gè)小時(shí)，實(shí)際掛鐘時(shí)間2小時(shí)38分鐘，這次session一共改動(dòng)了11976行新增代碼和2119行刪除代碼。

賬單里按模型拆分了用量，F(xiàn)able 5那部分只花了78.38美元，Opus 4.8那部分花了242.24美元。

換算成占比，這次session里四分之三的工作量，被轉(zhuǎn)給了BridgeMind壓根兒沒有主動(dòng)選擇的Opus 4.8。

Opus 4.8本身單價(jià)比Fable 5更便宜，這次降級(jí)嚴(yán)格來說沒讓BridgeMind多付一分錢的單價(jià)。

但讓人不滿的不是價(jià)格，是貨不對(duì)板。

BridgeMind選的是Fable 5，付的是Fable 5那個(gè)價(jià)位的期待，最后拿到手的東西，四分之三出自O(shè)pus 4.8的手筆。

他在推文里把這句話說得很重，模型沒干活，活是替補(bǔ)干的，只是賬單上寫的還是主力的名字。

用戶Lex轉(zhuǎn)發(fā)了這條賬單，飆起了F word，直言這就是純純?cè)p騙。

花Fable 5的錢，辦Opus 4.8的事，這中間的落差，才是這條吐槽真正戳中的地方。

現(xiàn)在的Fable，不是以前的Fable了

下來這組數(shù)據(jù)，把這些零散的吐槽釘成了一個(gè)能復(fù)現(xiàn)的結(jié)論。

評(píng)測機(jī)構(gòu)BridgeMind用自家的BridgeBench跑分體系，拿同一套題目分別測了Fable 5回歸前后兩個(gè)版本。

結(jié)果，三項(xiàng)核心指標(biāo)全線下跌。

• Debugging從86.2跌到25.9，跌幅超過六成，排名也從第9名跌到第41名；
• Refactoring從73.6跌到38.4，接近腰斬，排名跌到倒數(shù)區(qū)；
• Hallucination從75.9跌到61.7，跌幅相對(duì)最小，是三項(xiàng)里唯一沒有腰斬的。

對(duì)此，BridgeMind表示，這不是之前的那個(gè)Fable，A÷欠所有人一個(gè)解釋。

跌得最狠的debugging這一項(xiàng)，BridgeMind給出了更細(xì)的拆解。

12個(gè)debugging任務(wù)里，只有3個(gè)是在沒有觸發(fā)降級(jí)的情況下完整跑完的，剩下9個(gè)全部在中途被系統(tǒng)判定不安全，轉(zhuǎn)給了Opus 4.8處理。

這些被轉(zhuǎn)走的任務(wù)，在打分體系里全部記為零分。

所以，跑分暴跌的真相不是模型突然變笨了，是一大半任務(wù)壓根沒跑到終點(diǎn)就被攔了下來。

另一位AI從業(yè)者Hesamation把這組前后對(duì)比做成了一張柱狀圖廣泛轉(zhuǎn)發(fā)，圖注寫得很直接，F(xiàn)able 5不是被削弱了，是被宰了，問題根本不在模型本身，在Anthropic設(shè)下的這套硬性護(hù)欄。

有人甚至覺得，所謂的Fable或者M(jìn)ythos，實(shí)際上壓根兒就不存在。

BridgeMind的測評(píng)給前面幾段的吐槽提供了數(shù)據(jù)背書，賬單里那75%的轉(zhuǎn)移、raspberry問題的隨機(jī)攔截、內(nèi)心獨(dú)白里的連滾帶爬，實(shí)際上說的都是同一件事，那就是Fable 5的護(hù)欄收得太緊了。

總之，模型能力的問題和產(chǎn)品體驗(yàn)的問題，這幾天被攪成了一鍋粥。

Fable 5這一版到底強(qiáng)不強(qiáng)，討論到最后好像已經(jīng)不是重點(diǎn)，大家真正在乎的，是自己選擇的模型，有沒有老老實(shí)實(shí)地在給自己干活。

[1]https://x.com/om_patel5/status/2072559663636205824
[2]https://x.com/kimmonismus/status/2072721044159287361
[3]https://x.com/dylan522p/status/2072741962214707311
[4]https://x.com/xw33bttv/status/2072464948551373049
[5]https://x.com/DeryaTR_/status/2072751750453301741
[6]https://x.com/bridgemindai/status/2072662214704533888
[7]https://x.com/thdxr/status/2072193338271301844