Scaling Law一招鮮？首個(gè)晶體結(jié)構(gòu)操作基準(zhǔn)，頂級(jí)大模型集體翻車

新智元報(bào)道

【新智元導(dǎo)讀】大模型在原子操作任務(wù)中遭遇瓶頸。盡管大模型能解析材料知識(shí)，卻難以精準(zhǔn)操控原子結(jié)構(gòu)。研究指出Scaling Law在空間邏輯任務(wù)中效果有限，強(qiáng)調(diào)AI for Science需轉(zhuǎn)向Action Scaling，提升模型在真實(shí)科研操作中的能力。

過去幾年，大模型領(lǐng)域最成功的經(jīng)驗(yàn)總結(jié)莫過于「Scaling Law（縮放定律）」。一個(gè)幾乎被行業(yè)默認(rèn)接受的共識(shí)是：只要模型足夠大、數(shù)據(jù)足夠多，能力就會(huì)持續(xù)涌現(xiàn)，甚至自動(dòng)泛化到未知的領(lǐng)域。

但一項(xiàng)最新發(fā)布的材料學(xué)基準(zhǔn)測試，卻給這種「大力出奇跡」的樂觀情緒帶來了不一樣的參考視角。

由中科大蘇州高等研究院、新南威爾士大學(xué)等機(jī)構(gòu)聯(lián)合在ICML2026發(fā)布的AtomWorld，借助一系列真實(shí)原子操作任務(wù)得出結(jié)論：在文本理解、知識(shí)歸納等場景表現(xiàn)穩(wěn)定有效的Scaling Law，落地到受物理規(guī)則約束的原子實(shí)操任務(wù)時(shí)，往往達(dá)不到預(yù)期效果。

論文地址：https://arxiv.org/abs/2510.04704

項(xiàng)目主頁：https://masterai-eam.github.io/atomworld/

代碼倉庫：https://github.com/MasterAI-EAM/atomworld

理解不等于操作

在科學(xué)領(lǐng)域，大模型已經(jīng)展現(xiàn)出了驚人的 「理解力」：讀懂文獻(xiàn)、預(yù)測材料性質(zhì)、解析晶體結(jié)構(gòu)、甚至科學(xué)發(fā)現(xiàn)。

比如，Anthropic推出AI科研工作臺(tái)Claude Science，將科研拆成可逐步審計(jì)的流水線，實(shí)現(xiàn)綜述寫作、基因分析等特定環(huán)節(jié)效率提升10倍；Google DeepMind的GNoME用圖神經(jīng)網(wǎng)絡(luò)預(yù)測無機(jī)晶體穩(wěn)定性、以「生成候選→DFT 驗(yàn)證→數(shù)據(jù)回流」的閉環(huán)產(chǎn)出約 220 萬個(gè)結(jié)構(gòu)。

這也讓行業(yè)形成一種普遍認(rèn)知——既然模型能夠看懂材料相關(guān)知識(shí)，完成原子搭建、結(jié)構(gòu)調(diào)整這類實(shí)操任務(wù)理應(yīng)順理成章。

但真實(shí)的材料計(jì)算研究，并非簡單的選擇題作答。科研日常充斥著高度具象化的實(shí)操指令：構(gòu)建特定材料的 (001) 表面，模擬「真實(shí)世界」的邊界；替換晶格特定位點(diǎn)原子給材料摻雜或改性；在指定間隙位置嵌入新原子，設(shè)計(jì)「儲(chǔ)能」和「輸運(yùn)」通道等。

這類任務(wù)對(duì)模型提出了完全不同的能力要求：符合物理定律的三維空間操控能力。

為了客觀量化該項(xiàng)能力，研究團(tuán)隊(duì)搭建了AtomWorld評(píng)測框架，框架依托材料領(lǐng)域通用晶體學(xué)信息實(shí)現(xiàn)自動(dòng)化測評(píng)。它不考核材料識(shí)別、理論辨析類問題，只聚焦基礎(chǔ)空間操作任務(wù)：模型能否按照指令精準(zhǔn)調(diào)整原子排布？

圖1： AtomWorld 基準(zhǔn)測試流程示意圖。AtomWorld生成器流程：1. 隨機(jī)采樣器調(diào)取預(yù)設(shè)原子結(jié)構(gòu)；2. 隨機(jī)初始化器配置原子編號(hào)、位置參數(shù)；3. 結(jié)構(gòu)算子運(yùn)算得到目標(biāo)結(jié)構(gòu)；4. 提示詞模塊生成對(duì)應(yīng)自然語言描述。產(chǎn)出的結(jié)構(gòu) - 文本配對(duì)數(shù)據(jù)送入大模型智能體，通過pymatgen的StructureMatcher工具對(duì)比模型輸出結(jié)構(gòu)與標(biāo)準(zhǔn)目標(biāo)結(jié)構(gòu)，量化評(píng)估模型性能。

Scaling Law遭遇能力邊界

圖2：不同模型在AtomWorld上的總體表現(xiàn)。a、c為成功率；b、d為mean max_dist幾何誤差。左側(cè)比較不同主流模型，右側(cè)比較不同尺寸 Qwen 模型。模型規(guī)模擴(kuò)大可以提升部分規(guī)則清晰的任務(wù)，例如原子替換、刪除和移動(dòng)；但面對(duì)旋轉(zhuǎn)、區(qū)域刪除、擴(kuò)超胞等需要三維空間理解和幾何規(guī)劃的操作時(shí)，提升并不穩(wěn)定。即使是 Claude 等強(qiáng)通用模型，在「繞原子旋轉(zhuǎn)」等任務(wù)上也表現(xiàn)較差。

AtomWorld的結(jié)果提示，Scaling Law在原子操作任務(wù)上并不能被簡單理解為「模型越大，能力越強(qiáng)」。

本次測試覆蓋Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro、Gemini 2.5 Pro、Qwen3-32B、GPT o3、GPT-4o-mini、DeepSeek Chat、Llama3-70B等主流模型。圖 2 顯示，模型規(guī)模擴(kuò)大確實(shí)能改善一部分規(guī)則清晰、可模板化的操作，但面對(duì)依賴三維空間關(guān)系的任務(wù)，這種提升并不穩(wěn)定。

以 Qwen 系列為例，從 4B 到 32B，原子更換、移除、移動(dòng)等任務(wù)的成功率明顯提高，說明規(guī)模增長仍然有價(jià)值。但這種提升主要集中在規(guī)則明確、路徑相對(duì)固定的任務(wù)上，不能自動(dòng)遷移到所有原子操作。

更具挑戰(zhàn)性的任務(wù)暴露出明顯瓶頸。典型例子是「繞原子旋轉(zhuǎn)」：它不僅在 Qwen 不同尺寸模型上始終表現(xiàn)很低，在 Claude Opus 4.6 這類強(qiáng)模型上也只有約 12% 的成功率。這說明問題并不只是某個(gè)模型不夠大、不夠強(qiáng)，而是當(dāng)前通用大模型普遍缺少穩(wěn)定的三維空間行動(dòng)能力。

類似地，「刪除下方原子」、「擴(kuò)超胞」等任務(wù)即使換成更大模型，完成效果也仍不穩(wěn)定；幾何誤差也不是隨模型變大就必然下降。

因此，AtomWorld并不是簡單否定Scaling Law，而是指出它的適用邊界：規(guī)模擴(kuò)大能夠帶來部分能力增益，卻無法自動(dòng)補(bǔ)齊三維物理空間操作中的核心短板。對(duì)于材料建模而言，語言推理能力、文本知識(shí)儲(chǔ)備和原子級(jí)結(jié)構(gòu)行動(dòng)能力之間，不能直接畫等號(hào)。

從這個(gè)意義上說，AtomWorld 也提示了一個(gè)新的方向：除了追求參數(shù)規(guī)模和文本數(shù)據(jù)規(guī)模，AI for Science 還需要關(guān)注「Action Scaling」。

也就是把可執(zhí)行動(dòng)作的數(shù)據(jù)生成、動(dòng)作基元拆解、模擬器反饋、物理約束驗(yàn)證和工具調(diào)用糾錯(cuò)系統(tǒng)性地規(guī)模化，讓模型不僅在語言上變強(qiáng)，也在可驗(yàn)證的科研行動(dòng)中變強(qiáng)。

科研智能體的新賽道

AtomWorld的核心價(jià)值，不止于定位模型失效，更在于把 「材料智能體不會(huì)建模」 這個(gè)模糊痛點(diǎn)，拆解成一系列可測量、可追蹤的原子操作能力 —— 從基礎(chǔ)元素替換到空間區(qū)域判定，再到連續(xù)幾何理解，逐層厘清失效類型、程度與規(guī)模增益規(guī)律。

這也點(diǎn)破了單純擴(kuò)參難以落地的癥結(jié)：現(xiàn)有Scaling Law聚焦海量文本語料的語言與知識(shí)擬合，但材料原子建模需要的空間理解、幾何規(guī)劃與物理約束行動(dòng)能力，在公開數(shù)據(jù)中極度缺少 「操作指令 — 坐標(biāo)變化」 的高質(zhì)量成對(duì)訓(xùn)練樣本，很難僅靠語言規(guī)模擴(kuò)張自然補(bǔ)齊。

針對(duì)大模型三維操作偏弱的問題，行業(yè)普遍通過對(duì)接pymatgen等專業(yè)工具庫補(bǔ)短板。AtomWorld 對(duì)照測試顯示，外掛工具僅能提升原子插入等強(qiáng)坐標(biāo)計(jì)算類任務(wù)效果，面對(duì)需要判別原子關(guān)系、空間區(qū)域的復(fù)雜場景，提升十分有限。

本質(zhì)上，工具只能輸出精確坐標(biāo)，卻無法替代模型做 「原子該放哪」、「哪些屬于目標(biāo)區(qū)域」 這類核心決策；模型本身若缺乏三維空間感知，工具只會(huì)把錯(cuò)誤意圖執(zhí)行得更精準(zhǔn)，最終得到 「建模邏輯錯(cuò)誤」 的結(jié)果。

AtomWorld并非直接否定Scaling Law，而是提醒科學(xué)智能體重思 「該縮放什么」。文本語料的Language Scaling是知識(shí)基礎(chǔ)，但材料建模這類強(qiáng)操作任務(wù)，更需要面向行動(dòng)能力的Action Scaling——將「行動(dòng) — 反饋 — 糾錯(cuò)」全流程變成可規(guī)模化學(xué)習(xí)的對(duì)象。

AtomWorld的真正意義，正是通過自動(dòng)生成任務(wù)、標(biāo)準(zhǔn)結(jié)構(gòu)與匹配反饋，為材料建模的動(dòng)作數(shù)據(jù)與訓(xùn)練閉環(huán)提供底座，推動(dòng)AI for Science從追求更大的通用模型，轉(zhuǎn)向在可驗(yàn)證的科學(xué)操作中迭代真實(shí)行動(dòng)能力。

結(jié)語

AtomWorld不只是一套標(biāo)準(zhǔn)化評(píng)測基準(zhǔn)，更像一面觀測鏡，直觀展現(xiàn)出當(dāng)前AI for Science發(fā)展中的關(guān)鍵問題：大模型可以解釋材料結(jié)構(gòu)性質(zhì)，并不意味著它已經(jīng)能夠可靠修改材料結(jié)構(gòu)；可以讀懂元素周期表，并不意味著它能夠在三維空間中穩(wěn)定執(zhí)行一次原子級(jí)操作。

這一問題并不局限于材料建模。真正的科學(xué)研究從來不是純文本工作，而是由提出假設(shè)、設(shè)計(jì)實(shí)驗(yàn)、調(diào)用工具、調(diào)整參數(shù)、觀察結(jié)果、排查錯(cuò)誤和持續(xù)修正等一系列行動(dòng)構(gòu)成。無論是材料建模、分子設(shè)計(jì)、自動(dòng)化實(shí)驗(yàn)，還是更廣泛的科學(xué)發(fā)現(xiàn)流程，AI 若想真正參與科研，就不能只會(huì)「解釋知識(shí)」，還必須學(xué)會(huì)「執(zhí)行動(dòng)作」。

因此，AtomWorld提醒我們重新理解Scaling Law在科學(xué)場景中的適用范圍：基于網(wǎng)絡(luò)文本語料的Language Scaling依然重要，但它只是起點(diǎn)。

未來AI for Science更需要面向行動(dòng)能力的Action Scaling，讓模型在可執(zhí)行任務(wù)、工具調(diào)用、環(huán)境反饋和物理驗(yàn)證中學(xué)習(xí)如何完成真實(shí)科研任務(wù)。

只有當(dāng)模型同時(shí)具備知識(shí)理解能力和行動(dòng)能力，科學(xué)智能體才可能從「會(huì)回答問題」的百科全書，走向「能完成任務(wù)」的實(shí)驗(yàn)助手。

參考資料：

https://arxiv.org/abs/2510.04704

編輯：LRST