谷歌更新 Android Bench 基準測試，但 Gemini 表現仍落后

代碼生成正成為大語言模型最熱門的應用場景之一，但并非所有智能體在所有開發任務上都表現出色。谷歌今年早些時候專門針對大語言模型在 Android 應用開發中的表現創建了一套基準測試——Android Bench，而這一工具今天迎來了重大更新。排行榜新增了大量模型，谷歌同時引入了一套更易用的測試框架，并向開發者發出邀請，希望他們參與測試、提交反饋，共同推動 Android Bench 的未來發展。

盡管大語言模型是熱門的編程工具，但也并非萬能。要從有價值的輸出中剔除低質內容，就需要選對工具。Android Bench 旨在通過 100 項 Android 開發任務，評估各路 AI 智能體的綜合表現。自今年 3 月上線以來，谷歌已陸續引入成本與效率等新指標，同時納入了更多開放權重模型。

為保持 Android Bench 的時效性，谷歌本次新增了八款模型，涵蓋多款主流旗艦產品：Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus 以及 Qwen 3.7 Max。

事實上，Android Bench 最初發布時，谷歌自家的 AI 模型就未能登頂——OpenAI 的大語言模型以微弱優勢領先。如今隨著參賽陣容擴大，Gemini 的處境更加不樂觀。在最新排行榜上，Gemini 3.1 Pro 位列第五，落后于 GPT 5.4、Claude Sonnet 5 和 Claude Fable 5。其中，Fable 5 表現尤為突出，以 84.5% 的測試準確率大幅領先。

不過，Fable 5 和 GPT 5.5 的運營成本極高——在 100 道題、10 次運行的基準測試中，Token 消耗費用超過 130 美元。Gemini 3.1 Pro 得分雖不及前者，但運行成本僅需 87 美元。定位為輕量級、低成本的 Gemini 3.5 Flash 反而是排行榜上成本最高的模型，原因在于其完成基準測試的耗時過長：每次運行費用高達 165 美元，耗時長達 28 小時。

谷歌旗下模型在 Android 編程性能上的差距，在該公司正大力推進智能體化開發轉型的背景下顯得尤為突出。顯然，谷歌希望 Android 開發者在日常工作流中優先使用谷歌自家工具，這或許也是外界報道稱谷歌已開始向開發者購買應用源代碼用于 AI 訓練的原因之一。

Android Bench 本身也將持續演進，不斷引入新的工作流來測試各類模型。谷歌希望開發者能夠積極參與 Android Bench 的建設，分享基準測試與開發任務。為降低參與門檻，谷歌已將測試框架切換為 Harbor。據官方介紹，這一測試沙盒讓開發者能夠更便捷地運行、評估并分享 Android Bench 的測試結果。

谷歌已基于 Harbor 框架重新運行了所有歷史測試，以重新建立大語言模型性能的基準線。因此，即便底層測試內容尚未發生變化，此前公布的部分分數也出現了一定偏移。歷史數據將以存檔形式繼續保留在線。

借助這一更易用的新框架，開發者可以將自己的開發任務接入 Android Bench 進行測試，并將結果提交供官方考慮納入正式測試集。Android Bench 的 GitHub 頁面已完成更新，提供了最新數據集及參與指南。

Q&A

Q1：Android Bench 是什么？它主要用來測試什么？

A：Android Bench 是谷歌于 2023 年 3 月推出的基準測試工具，專門用于評估大語言模型在 Android 應用開發任務中的表現。測試包含 100 項 Android 開發任務，涵蓋代碼生成等核心能力，并提供準確率、成本、效率等多維度指標，幫助開發者選擇最適合 Android 開發的 AI 工具。

Q2：最新 Android Bench 排行榜中，哪款模型表現最好？

A：在最新排行榜中，Claude Fable 5 以 84.5% 的準確率位居榜首，表現最為突出。GPT 5.4 和 Claude Sonnet 5 緊隨其后。谷歌自家的 Gemini 3.1 Pro 僅排第五，且 Gemini 3.5 Flash 雖定位輕量低價，卻因運行時間過長導致每次測試費用高達 165 美元，成為榜單上成本最高的模型。

Q3：開發者如何參與 Android Bench 的測試貢獻？

A：谷歌已將 Android Bench 切換至 Harbor 測試框架，大幅降低了開發者的參與門檻。開發者可以在本地運行自定義開發任務并在 Android Bench 中進行評估，之后將結果提交給谷歌，供官方考慮納入正式測試集。相關數據集和參與說明已更新至 Android Bench 的 GitHub 頁面。