讓AI用阿拉伯語回答，它偏偏說中文

我問一個(gè)AI用阿拉伯語回答，它卻甩給我一段中文。換個(gè)提示，再試，依然如此。這不是某個(gè)模型的偶然抽風(fēng)，而是一個(gè)被系統(tǒng)性忽略的工程黑洞：阿拉伯語，全球超過4億人使用，但它在互聯(lián)網(wǎng)訓(xùn)練數(shù)據(jù)中的占比不到1%。你所用過的每一個(gè)大語言模型，說到底都是一個(gè)英語模型，阿拉伯語只是被硬掛上去的附件。

我搭建了Fasil——一個(gè)讓AI用正式阿拉伯語（福斯哈）評估結(jié)構(gòu)化辯論的平臺。然后這1%的數(shù)據(jù)份額，就成了我遇到的最難的工程約束。比戰(zhàn)爭更難。比停電更難。比零API預(yù)算更難。下面是我實(shí)際踩到的坑、實(shí)測出的數(shù)字，以及——很關(guān)鍵——哪些我原本堅(jiān)信不疑的假設(shè)，最后被證明是錯(cuò)的。

1. 分詞器稅收：2.2倍，我自己測出來的

阿拉伯語在分詞器面前被拆得稀爛。同一個(gè)語義的句子，用Qwen2.5的分詞器跑一下：英文“The strongest argument wins.”吃掉5個(gè)詞元（token），阿拉伯文“????? ?????? ?? ???? ?????.”吃掉11個(gè)。語義完全對等，成本卻是2.2倍。這不是偶然差異，這是阿拉伯語形態(tài)上的原罪。阿拉伯語高度屈折，一個(gè)詞可以同時(shí)攜帶主語、時(shí)態(tài)、賓語和所屬關(guān)系。而一個(gè)被海量英語數(shù)據(jù)喂飽的分詞器，壓根沒有高效合并這些形態(tài)的規(guī)則，于是只能把它們剁成一堆拆開的子詞碎片，每一片單獨(dú)拿出來都毫無意義。

這個(gè)2.2倍的乘數(shù)效應(yīng)像利息一樣滾進(jìn)所有環(huán)節(jié)：有效的上下文窗口被砍掉一半多——同一份辯論記錄，吃掉的預(yù)算是英語的2.2倍；單位語義的推理成本翻番還不止；小模型的退化速度之快，任何英語基準(zhǔn)測試都預(yù)測不出來。怎么緩解？無情的提示壓縮，以及更關(guān)鍵的一步：把結(jié)構(gòu)性的邏輯從提示詞里抽出來，塞進(jìn)應(yīng)用代碼里。辯論的各個(gè)階段、話輪、評分規(guī)則、狀態(tài)轉(zhuǎn)移，全由Django管著。模型根本不用記住規(guī)則，只要求它做一件事：評判。這是低資源語言工程的鐵律：每個(gè)花在指令上的詞元，都是從內(nèi)容那里搶來的。英語語境下你浪費(fèi)得起，但在2.2倍的負(fù)重下，你浪費(fèi)不起。

2. 小模型在福斯哈上崩潰，方言反而還行

這條反直覺的發(fā)現(xiàn)，吃掉了我最多的時(shí)間。小模型處理阿拉伯語口語的能力，明顯好于正式阿拉伯語。事后一想其實(shí)很明白：口語散落在爬取的社交數(shù)據(jù)里，而正式阿拉伯語（福斯哈）即便在阿拉伯語語料那個(gè)本來就可憐的小切片里，占比也低得可憐。但對一個(gè)辯論平臺來說，正式阿拉伯語沒有商量的余地。那種天真的做法——“就用小模型唄，阿拉伯語不都是阿拉伯語”——?jiǎng)傄唤佑|現(xiàn)實(shí)就直接翻車。補(bǔ)救方案是任務(wù)拆解：小模型在做“檢查”這件事上完全夠用，但讓它用福斯哈進(jìn)行“推理”，它就不靠譜。模型大小必須和任務(wù)類型相匹配，而且永遠(yuǎn)不要假設(shè)同一個(gè)語言的基準(zhǔn)分能在不同語域之間平移。

3. 結(jié)構(gòu)化輸出：我錯(cuò)了，然后我測了

這部分是我需要公開自我糾正的地方。我的第一反應(yīng)是：“阿拉伯語會毀掉JSON輸出。”我跑了提示，測試了五……（這里數(shù)據(jù)被截?cái)啵?。總之，那個(gè)一開始堅(jiān)定的假設(shè)，被實(shí)測推翻了。低資源語言的工程問題，最怕的不是踩坑，而是把想當(dāng)然當(dāng)結(jié)論。沒有什么比親手測量后打自己臉，更讓人清醒。