從答題到做實驗：SciAgentGym讓大模型進入科學工作流

DeepMind 聯合創始人、2024 年諾貝爾化學獎得主 Demis Hassabis 曾談到，他一直將 AI 視為推動知識前沿的重要工具。AI 可以幫助科學家處理復雜數據、發現隱藏模式，也可能在未來參與更深層的科學探索。

要走向這樣的目標，科學智能體在回答科學問題之外，更需要有能力處理科學工作流。在真實的科學場景中，研究者需要檢索數據庫、調用專業軟件、執行計算、分析結果，并根據反饋不斷修正方向。科學推理不只發生在語言空間中，也發生在工具調用、環境反饋和錯誤恢復的過程中。

這也對評測提出了新的要求。評估科學智能體，需要觀察它能否在復雜工具環境中穩定、有效地完成多步任務。正是在這一背景下，復旦大學 NLP 實驗室提出了SciAgentGym，一個專為多步科學工具使用而設計的智能體環境，用于評估模型在復雜科學工作流中的執行能力、反饋處理能力和任務完成能力。

• 論文標題：SciAgentGym: Benchmarking Multi-Step Scientific Tool-use in LLM Agents
• 論文地址：https://arxiv.org/pdf/2602.12984
• 項目網站：https://sciagentgym.github.io/

SciAgentGym：為科學智能體搭建工作流環境

SciAgentGym 為 Agent 提供了一個可交互、可執行、可反饋的科學環境。

這個環境由四類基礎設施組成：專業工具庫、文件系統、科學數據庫和 Python 解釋器。模型在任務過程中可以調用科學工具、執行代碼、查詢數據庫，也可以讀取環境返回的結果、報錯信息和中間文件。每個任務都擁有獨立的工具注冊、文件系統和執行歷史，從而讓模型真正處在一個科學工作空間中。

為了讓這個環境能夠承載復雜科學任務，SciAgentGym 在設計上強調了三個原則。

首先是Type Safety，也就是類型安全。科學工具之間并不是隨意連接的。一個工具可能輸出分子式，另一個工具需要蛋白結構；一個工具返回矩陣，另一個工具只能接收三維向量。SciAgentGym 為工具定義明確的輸入輸出類型，使環境能夠檢查每次調用是否合法，也能判斷工具之間是否可以自然銜接。

其次是Reproducibility，即可復現性。模型的每一次工具調用、每一個中間結果和每一次環境反饋，都會被記錄成結構化軌跡。最終評測得到的不只是一個答案，還包括模型完成任務的全過程。

第三是Extensibility，也就是可擴展性。SciAgentGym 中的工具按照學科和標準協議組織，便于后續接入新的領域工具。論文中，研究團隊將 RDKit、ASE、SciPy、BioPython、PyMatGen 等成熟科學計算包封裝成各種工具，再按照計算、分析、可視化和查詢等功能類別進行組織，并通過自動化單元測試篩選工具質量。

SciAgentGym 的設計旨在為科學智能體搭建一個能夠承載科學工作流的執行環境。在這樣的環境中，模型需要理解工具依賴、管理中間狀態、利用環境反饋，并把多個步驟組織成一條連續的科學任務流程。

圖：SciAgentGym 總體框架。左側為科學環境與工具系統，右側展示 SciAgentBench 評測、Agent Interface 交互和 SciForge 訓練流程。

SciAgentBench：評測模型能否完成長程科學任務

在基礎環境之后，下一個關鍵問題是：當前大模型在復雜科學工作流中的能力邊界在哪里？

SciAgentBench正是為此設計的評測集。它包含 259 個任務、1,134 個子問題，覆蓋物理、化學、材料科學和生命科學四個領域。這些任務經過了一套篩選與驗證流程。因為研究團隊希望保留下來的任務不能僅靠模型記憶或常識直接回答，而且需要模型在 SciAgentGym 環境中持續調用工具、讀取反饋，并逐步推進任務。

為了刻畫不同任務的復雜度，SciAgentBench 將任務劃分為三個層級。

L1是基礎任務，不超過 3 步，主要考察模型能否完成較短的工具調用流程。

L2是中等復雜度任務，需要 4 到 7 步，模型必須開始組合多個工具，并管理更多中間狀態。

L3則是長程任務，需要 8 步以上，更接近真實科學工作流。模型不僅要規劃多個步驟，還要在執行過程中處理反饋、修正錯誤，并保持整體任務目標不偏離。

在整個 SciAgentBench 中，L2 和 L3 任務合計占79%。其重點主要在于考察模型能否在更長的任務鏈條中保持穩定。

此外，約65%的任務包含多模態輸入，例如分子結構圖、光譜數據、相圖和實驗圖像。這一點也很貼近真實科學研究的場景：研究者在解決問題時，往往不會只看一段文字，而是需要同時理解圖像、表格、實驗數據和工具返回的中間結果。

在評測指標上，論文使用了兩個主要指標：Success Rate 和 Success Weighted by Path Length。

前者衡量模型是否成功完成整個任務；后者則進一步考慮完成任務的效率。若模型在完成任務時反復嘗試無效路徑、調用不必要的工具，即便最終答對，它的效率得分也會下降。科學智能體不僅要能得到答案，還要能以相對更加快速直接的方式得到答案。

圖：在 SciAgentBench 下的測試結果。

實驗結果顯示，工具確實能帶來幫助。總體來看，模型在接入工具后，平均成功率從23.3%提升到28.3%。這說明，在真實科學任務中，外部工具依然非常重要。僅靠模型內部知識，很難替代科學計算、數據庫查詢和專業軟件帶來的精確能力。

但更值得注意的是，模型一旦進入長流程任務，性能會明顯下降。以 GPT-5 為例，它在帶工具設置下的整體成功率為41.3%。但如果按任務難度拆開看，L1 成功率為58.8%，到了 L3 則下降到34.6%。這種下降并不是某一個模型的個例，而是幾乎所有模型都會遇到的問題。所有模型平均來看，L1 成功率為47.4%，L3 只有16.4%。

這說明，當前模型已經具備一定的工具使用能力，但要穩定完成長程科學工作流，仍然非常困難。短流程任務中，模型只需要做出少數幾次正確決策；而在長流程任務中，它需要連續完成多個環節：理解問題、選擇工具、設置參數、讀取反饋、轉換格式、繼續執行。任何一個環節出錯，都可能影響后續所有步驟。

圖：SciAgentBench 下的模型行為分析。進一步從工具調用效率、反饋利用能力和長程錯誤恢復三個角度分析模型在科學工作流中的表現。結果顯示，當前模型的瓶頸并不只是 “會不會調用工具”，而是能否在多步執行中有效理解環境反饋、調整行動路線，并持續推進任務。

論文還觀察到一個很有意思的現象：工具調用次數多，并不代表模型更會使用工具。

有些模型會頻繁調用工具，但成功率并不高。原因在于，它們并沒有真正理解工具返回的反饋，而是在報錯后不斷重復相似操作，或者只是機械地調整參數。相比之下，一些更強的模型雖然調用次數更少，卻能更有效地利用中間結果，較快判斷下一步應該怎么做。

這也揭示了科學智能體的一個關鍵能力，即有效使用環境反饋。

在真實科學工作流中，工具反饋往往承載著非常重要的信息。報錯可能提示輸入格式不對、參數缺失，或者工具選擇本身不合適；中間結果也可能提示當前路線是否有效，是否足以支持下一步推理。模型如果不能讀懂這些反饋，就容易在長流程中反復試錯，甚至陷入無效循環。

這樣的結果強調了雖然當前大模型已經具備一定的科學工具使用能力，但距離穩定、可靠地完成真實科學工作流，仍有明顯差距。

SciForge：讓模型從可執行軌跡中學習

在 SciAgentBench 評估模型在長程科學工作流中的表現之后，論文進一步提出SciForge，用于構建面向科學工具使用的訓練數據。

SciForge 的基本思路是：科學智能體需要學習的不只是最終答案，還包括完成任務的過程。在真實科學研究中，一條工作流往往包含多個環節：選擇工具、調用工具、讀取中間結果、理解環境反饋，并在出錯時調整下一步操作。

圍繞這一點，SciForge 從科學工具之間的輸入輸出關系出發，構造可能的工作流，并將這些工作流放入 SciAgentGym 環境中實際運行。能夠執行并產生有效結果的軌跡，會被保留下來作為訓練數據。

這些軌跡不僅包含順利完成任務的過程，也包含一部分錯誤與修正過程。例如，工具調用失敗、參數設置不當、輸入格式不匹配等情況，都會以環境反饋的形式出現在軌跡中。模型可以從這些數據中學習如何根據反饋調整后續操作，而不是只學習一條理想化的執行路徑。

實驗結果顯示，基于 SciForge 數據訓練后，SciAgent-8B在 SciAgentBench 上達到30.1%成功率，超過了更大規模的Qwen3-VL-235B-Instruct；SciAgent-4B也達到25.2%，相比基座模型有所提升。

圖：SciForge 訓練效果。隨著訓練軌跡數量增加，模型在工具增強任務中的表現持續提升；缺少錯誤恢復過程或使用非科學工具數據時，訓練效果會受到影響。

這一結果說明，對于科學智能體而言，科學工具調用的過程數據非常重要。可執行軌跡為模型提供了關于工具依賴、數據精度、反饋利用等一系列科學工具調用的經驗，使模型能夠在訓練中接觸更接近真實科學工作的任務結構。

展望：下一步，AI 科學家

斯坦福研究者 Surya Ganguli 在談到 AI 與科學發現時提到，AI 會推動新的科學發現，而科學應用對嚴謹性的要求，也會反過來推動更好的 AI。放在科學智能體的語境中，這一點尤其值得關注。真正進入科學研究場景后，模型面對的是海量的資料數據與無限開放探索的過程。

面向開放式科學發現，讓模型先在具體科學工作流中學會可靠執行，再逐步提升它參與復雜科學研究的能力，可能是一條很有潛力的路徑。我們期許未來的 AI 科學家能在這種交互中逐漸成形。