人大高瓴黃文炳團隊聯合多家單位提出晶體結構預測孿生基座模型

作者 | 論文團隊

編輯丨ScienceAI

晶體，是材料世界的「原子建筑」。從超導體到催化劑，從鐵電材料到半導體，晶體的性質由其原子的三維排列決定。然而，僅憑化學式預測晶體結構這一被稱為「晶體結構預測」（Crystal Structure Prediction, CSP）的問題，自上世紀 50 年代提出以來始終是材料科學的一個基礎性難題。如果說 AlphaFold 系列讓蛋白質折疊問題取得了重要進展，那么晶體結構預測則仍面臨更多挑戰。與蛋白質不同，晶體的幾何結構更為復雜：周期性邊界條件、多晶型現象、旋轉對稱性約束…… 這些都讓 CSP 成為一塊難啃的「硬骨頭」。

為此，中國人民大學高瓴人工智能學院黃文炳副教授團隊聯合南京大學、華為技術有限公司以及清華大學，在《自然 - 通訊》（Nature Communications）發表了題為《Siamese Foundation Models for Crystal Structure Prediction》的文章，并入選了 Inorganic and Physical Chemistry 方向的 Editors’ Highlights（該領域僅推薦 50 篇）。論文的第一作者吳黎明現為中國人民大學高瓴人工智能學院三年級博士生，導師為黃文炳副教授。

該工作提出了 DAO（Diffusion-based crystAl Omni）， 一個面向晶體結構預測的孿生基礎模型框架，在權威的晶體結構預測榜單 MP-20 和 MPTS-52 上顯著超越現有最好模型，且在多晶型體系的生成任務上也表現出卓越的性能。此外，DAO 在三個傳統計算難以處理的真實超導體（Cr?Os?、Zr??Rh?O?、Zr??Pd?O?）上同樣表現出色。對于 Cr?Os?，DAO 在 20 次生成中實現了與實驗參考 100% 的匹配率，原子位置誤差僅為 0.0012，且每輪迭代速度比基于 DFT 的結構預測方法快 2000 倍以上。對于另外兩個更大體系的超導，不僅取得了較低的原子位置誤差，超導溫度預測也同樣精準（誤差為 0.26K 和 0.04K）。這些結果充分展示了該工作推動材料科學研究的潛力。

論文鏈接：https://www.nature.com/articles/s41467-026-72362-3

代碼鏈接：https://github.com/GLAD-RUC/DAO

項目主頁：https://glad-ruc.github.io/DAO/

一、核心問題：為什么 CSP 這么難？

晶體結構預測的目標是：給定化學式，直接預測其穩定的三維原子排列。這之所以困難，有三個主要原因：

1. 搜索空間巨大。 原子坐標和晶格參數構成連續高維空間，且需要滿足周期性約束，搜索空間隨原子數增加而快速增長。

2. 幾何約束嚴格。 晶體結構必須滿足 O (3) 旋轉等變性和周期平移不變性，這對模型設計提出了特定要求。

3. 訓練數據有限。 現有深度生成模型多在 MP-20 等小規模數據集上訓練，難以學到足夠多樣的結構模式，對未見結構的泛化能力受限。

近年來的深度學習方法在 CSP 上取得了一些進展，但受限于小數據集和模型能力，在更復雜的 MPTS-52 等基準上的表現仍有較大提升空間。

二、DAO 框架：兩個模型，一個目標

DAO 的核心思想是：用兩個互補的基礎模型協同處理 CSP。

• DAO-G（Generator）：負責從化學式生成晶體結構，基于擴散生成模型訓練。
• DAO-P（Predictor）：負責預測晶體能量，輔助 DAO-G 進行數據優化和生成引導。

兩個模型共享同一個骨干網絡 Crysformer，這是一種幾何圖 Transformer，滿足晶體結構的對稱性需求。

圖1：DAO 框架示意圖：DAO-G 與 DAO-P 的預訓練 - 微調流程，以及兩者在數據優化與能量引導中的協同機制。

三、CrysDB：近百萬級晶體預訓練數據集

基礎模型的效果與數據規模密切相關。團隊從 Materials Project 和 OQMD 兩大開源數據庫中，整合構建了 CrysDB: 包含約 94 萬條穩定與不穩定晶體及其能量標注。經過嚴格的去重處理（避免下游測試數據泄漏），最終得到 919,258 條訓練數據。

CrysDB 的一個特點是同時包含穩定和不穩定結構：OQMD 子集中 71% 為不穩定結構，MP 子集中 45% 為不穩定結構。這一設計使模型能夠學習更廣泛的能量景觀分布，而非僅局限于穩定區域。

圖2：CrysDB 數據集統計：來源分布、穩定 / 不穩定比例、能量分布、體積分布、原子數分布及元素覆蓋。

四、兩階段預訓練：從「見多識廣」到「精益求精」

DAO-G 的預訓練分兩個階段進行：

第一階段：見多識廣。 在 CrysDB 的全部數據（含大量不穩定結構）上訓練 DAO-G，使其學到更廣泛的晶體結構分布。同時，DAO-P 也在 CrysDB 上進行混合監督預訓練 —— 結合擴散自監督損失和指數能量監督損失，后者在理論上被證明可以收斂到真實的中間態能量。

第二階段：精益求精。 利用 DAO-P 對不穩定結構進行「松弛」—— 計算能量梯度并使用 L-BFGS 優化器將高能結構推向更穩定的構型。DAO-G 在松弛后的數據集上繼續訓練，緩解對不穩定區域的偏向。

這種「訓練 - 松弛 - 再訓練」的范式，將不穩定數據的豐富性與穩定結構的質量結合起來。

五、能量引導采樣：引導生成趨向穩定

經過兩階段預訓練后，生成過程中仍可能出現不穩定結構。為此，DAO 引入了能量引導采樣機制：

在 DAO-G 的采樣過程中，DAO-P 實時預測當前結構的能量，并通過梯度引導采樣方向。受玻爾茲曼分布啟發，這一引導等價于將原始數據分布與能量勢函數加權，使低能（穩定）結構被采樣的概率增大。

實驗表明，能量引導使 MPTS-52 上的 RMSE 從 0.0695 降至 0.0688，穩定性從 73.75% 提升至 75.05%。

六、實驗結果：兩大基準上取得領先匹配率

在 MP-20 和 MPTS-52 兩個常用 CSP 基準上的實驗結果：

表1：在 MP-20 和 MPTS-52 上的實驗結果。

幾個值得關注的發現：

• 預訓練的價值：大規模預訓練將 DAO-G 在 MP-20 數據集上的匹配率從 51.55% 提升至 65.60%。FlowMM 同樣從預訓練中獲益顯著。
• Crysformer 的作用：DAO-G 在幾乎所有指標上均優于 DiffCSP-large。采用 Crysformer 的 FlowMM 在匹配率上也超越了 FlowMM-large。
• 大體系泛化：雖然 MatterGen 在 MP-20 上略占優勢，但 DAO-G 在 MPTS-52 上取得了更高的匹配率（32.52% 對比 30.28%），展現出對更大原子體系的更好擴展能力。
• 流匹配的優勢：用流匹配替代擴散模型，在 MP-20 和 MPTS-52 上分別取得了 74.17% 和 42.01% 的最佳匹配率。

此外，DAO-G 在多晶型結構生成上表現較好：對于 2 晶型、3 晶型和 4 晶型體系，「全部成功生成」的比例分別達到 72.2%、54.5% 和 81.8%。

圖3：DAO-G 在多晶型上的生成結果。

七、真實超導體驗證

團隊將 DAO 應用于三種真實超導體: Cr?Os?、Zr??Rh?O?和 Zr??Pd?O?。這三種材料在預訓練和微調階段均未出現過，可用于驗證模型對真實材料的預測性能和泛化能力。

圖4：超導體驗證：DAO-G 預測三種真實超導體結構，DAO-P 估計臨界溫度，與 DFT 方法的速度對比。

Cr?Os?（A15 結構）：DAO-G 在 20 次生成中實現了 100% 的匹配率和 0.0012 的 RMSE。DFT 計算驗證，生成結構的 E_hull 為 0.02918 eV/atom，與實驗值 0.02916 僅差 0.00002。值得注意的是，雖然預訓練數據中存在不穩定的 Cr?Os?結構，DAO-G 并未簡單復現它們，而是傾向于生成穩定的超導結構，這表明模型學到了對穩定結構分布的條件建模，而非單純的記憶。

Zr??Pd?O?（η- 碳化物結構）：具有剛性 Wyckoff 占位和幾何受挫的星四角晶格，DAO-G 以 0.0172 的 RMSE 生成了結構。

Zr??Rh?O?：僅將 Pd 替換為 Rh 導致晶格常數變化約 0.5%，卻使超導轉變溫度從 2.73K 升至 3.73K。DAO-G 捕捉到了這一細微差異，RMSE 為 0.0212。

在臨界溫度 Tc 預測方面，DAO-P 的絕對誤差分別為 2.02K（Cr?Os?）、0.26K（Zr??Rh?O?）和 0.04K（Zr??Pd?O?）。

與 DFT 的速度對比：對于 Cr?Os?，Quantum Espresso（QE）優化器完成 38 次迭代需要約 138 分鐘，而 DAO-G 完成 1000 次采樣僅需 1.5 分鐘，單次迭代速度差距超過 2000 倍。不過需要指出，DFT 和生成模型解決的問題性質不同：DFT 是物理級別的能量優化，而 DAO-G 是數據驅動的結構生成，兩者并非完全等價的替代關系。

八、協同效應：DAO-G 與 DAO-P 互相增益

DAO 框架的一個設計特點是兩個模型的協同效應：

• DAO-P 輔助 DAO-G：通過數據松弛和能量引導采樣，DAO-P 使 DAO-G 能從不穩定數據中獲益而不被其誤導。
• DAO-G 增強 DAO-P：當結構信息缺失時，DAO-G 可以為 DAO-P 生成結構數據，增強下游屬性預測。在超導體 Tc 預測任務中，使用 DAO-G 生成的結構進行數據增強，將 MAE（logK）從 0.761 降至 0.714。

此外，DAO-P 在晶體屬性預測任務中也展現了一定的遷移能力，在 8 個數據集中的 4 個上取得了最優結果，另外 3 個進入前三。

九、局限與展望

DAO 展示了基礎模型在晶體結構預測中的潛力，但仍存在明顯局限：

• 大體系性能仍需提升：當前預訓練數據僅包含 3-30 個原子的晶體，MPTS-52 上的 20-shot 匹配率僅為 46.78%，擴展至更大體系的預訓練數據有望改善。
• 超導體案例有限：目前僅在三種超導體上進行了驗證，更廣泛的實驗驗證仍在進行中。
• 從預測到設計的距離：從「預測已知材料的結構」到「設計具有目標屬性的新材料」，仍有本質性的跨越。

后續工作中，團隊計劃擴展預訓練數據規模、探索更先進的生成范式，并嘗試面向特定屬性（如高溫超導性）的材料設計。

當 AI 不僅能夠「看見」原子世界，還能「設計」原子世界，材料科學的下一個黃金時代或許正在到來。