OpenAI：面向基因組分析生物學任務評估與應用框架GeneBench-Pro

編輯丨&

在傳統的 AI 評測中，大模型只要依靠強大的檢索和長文本記憶，就能輕松在各種生物學考試中拿到高分。但真實的生命科學研究充滿著物理世界的噪聲、復雜的代碼流水線以及連續的因果鏈條。

圍繞這個問題，OpenAI 設計了 GeneBench-Pro，不再只關注模型在單一子任務上的表現，它進一步擴展了基因實驗室，涵蓋基因組學、定量生物學和轉化醫學等更難、更現實的任務，捕捉計算生物學科學研究的復雜性、迭代性和模糊性。

圖示：生物學領域的基準差距。

它旨在精確測量如處理歧義、修正假設、選擇正確的分析路徑并下達決策等高級能力。每個 GeneBench-Pro 問題都為模型提供了真實且混亂的數據集、簡短的實驗背景，以及與下游決策相關聯的目標估計數。要正確回答，模型必須探索數據，選擇合適的分析方法，進行迭代實驗，并給出最終答案。

數據集構建

生物學領域，數據生成成本大幅降低，這也導致部分研究者認為限制因素已經變為下游的計算與分析。GeneBench-Pro 旨在評估解決這一瓶頸的進展，共有129個問題，涵蓋了廣泛的計算生物學環境和方法。

圖示：領域圖集：10 個領域和 21 個子領域中的 129 個問題。

為了保證評估的絕對客觀與嚴謹，GeneBench-Pro 特意避開了傳統長期生物學基準常犯的兩大失敗模式：

避免任意的選擇偏好：許多舊的基準直接圍繞混亂的歷史數據集構建多步驟問題。在這種情況下，分析過程中往往沒有單一正確的路徑。AI 1 可能選擇了一個完全可辯護的過濾截止點，而 AI 2 則可能選擇另一個同樣合理的選項。最終的評分差異往往只能反映基準創建者主觀的任意選擇，而無法體現模型在生物學性能上的根本差異。

避免數值敏感性過低：反之，有些基準問題設計得過于粗糙，即便 AI 在數據處理或中間分析中犯下了不可饒恕的根本性生物學錯誤，最終竟然誤打誤撞依然能得到及格的數值結果。

為了徹底杜絕這些失效模式，GeneBench-Pro 中的每一個問題全部采用合成構建的方式。

OpenAI 的研究人員完全掌握了數據底層的因果結構，并直接通過數學和物理模型模擬了整個數據的生成過程。這使得基準能夠自由調整每個難題的復雜性，既能確保主觀分析選擇的合理差異仍能產生被接受的正確數值結果，又能通過消融研究嚴格驗證那些聽起來合理但實際上錯誤的分析路徑。

圖示：GeneBench-Pro 問題的構建與驗證。

評估與評分

OpenAI 將 129 個 GeneBench-Pro 問題中的 82 個直接發送給了頂尖的外部領域專家進行深度評審，評審團由知名高校的研究生、博士后研究員、工業界科學家以及終身教授組成。

兩位來自加州大學的評估者表示，那些在 GeneBench-Pro 問題上表現良好的模型顯然能幫助研究人員確定正確的工作流程并探索數據，并識別出了潛在的陷阱問題。

每個 GeneBench-Pro 問題都是自成一體的科學分析。在問題解析中，AI 獲得一個隔離的工作空間，包含簡短提示、數據文件和標準生物信息學堆棧。

這些問題囊括了結構變異導向腫瘤治療的益處-風險決策、CRISPR 靶點驗證、關聯遺傳位點中的蛋白質藥物靶點、DRX1 載體篩選殘余風險與父母特定祖源及近期混血時間。每個問題還附帶豐富的元數據，包括預期的分析結構、附加數據文件、詳細的多頁案例研究以及專家評審結果。

測試結果

目前 OpenAI 家族中最強悍的推理模型GPT-5.6 Sol，在啟用了最高推理層級時，拿到了31.5%的通過率。而在常規最高推理層級下，其通過率為28.7%。雖然不到三分之一，但這相比于早期構建該基準時的初代 GPT-5（得分低于 5%）已經實現了跨越式的巨幅增長。

以目前模型的高速改進速度來看，這一極具挑戰性的基準可能在年底前就會達到飽和狀態。

圖示：GeneBench-Pro：在 GPT 模型上測試計算性能的提升情況。

GPT 模型在面對存在定量不確定性的高級科學推理任務時，表現出了極強的統治力。GPT-5.6、GPT-5.5 與 GLM 5.2 等主流開源模型之間的性能鴻溝，遠比人們在常規編碼基準測試中推斷出的差距要大得多。

圖示：GeneBench-Pro：模型通過率最高推理。

考慮到 GeneBench-Pro 題目的變態難度，GPT-5.6 Sol 斬獲的 31.5% 成績已經足夠令人側目。在一項針對外部評審專家的內部調查中，評審們估計，人類專家平均需要耗費大約 20 到 40 個小時才能完整、獨立地解決單個 GeneBench-Pro 問題。

能力轉化方案

不過，前沿模型仍能解決不到三分之一的問題，這表明仍有很大改進空間。模型可以在具有挑戰性的問題上取得部分進展，但它們難以閉合推理循環。這種失敗模式反映了人類專家與新手之間的對比。專家們利用經驗來構建問題框架并調整方法，而新手則會做出觀察，但難以將其融入更廣泛的問題背景中。

要實現近乎完美的性能，需要評估既能可靠衡量進展，又能識別模型仍然存在的缺陷。像 GeneBench-Pro 這樣的基準測試就會起到很大作用。

與此同時，測序成本大幅下降，生物樣本庫規模的數據集現在以前所未有的廣度連接分子、表型和健康記錄信息。限制因素在于從數據生成轉向將信息轉化為可操作的洞察。能夠持續執行由人類專家團隊處理的分析的模型，可以通過加快假設篩選、目標跟進以及數據生成與決策之間的循環來改變工業研究。

GeneBench-Pro 代表了初步的嘗試。OpenAI 預估，隨著模型能力的進步，探測這些更高抽象層次模型能力的基準將變得越來越有用，超越僅僅測試書籍知識或執行常規分析的能力。

https://openai.com/index/introducing-genebench-pro/