用同一套語言讀懂，BioMatrix推動生物大模型走向原生統一建模

作者丨論文團隊

編輯丨ScienceAI

近年來，基礎大模型正在加速進入生命科學與藥物研發領域。從分子生成、蛋白質設計，到分子-蛋白相互作用預測，AI 正在幫助研究者更快地理解復雜生命系統。然而，生物世界并不是由單一模態構成的。

一個分子，既可以被表示為 SMILES 或 SELFIES 這樣的序列，也可以被描述為三維構象，還可以出現在論文、專利或數據庫的自然語言描述中；一個蛋白質，既有氨基酸序列，也有空間結構，還關聯著功能、疾病、通路與實驗背景。更重要的是，真實的生物任務往往不是「單個實體」的問題，而是分子與蛋白、蛋白與蛋白之間的相互作用問題。

現有生物基礎模型通常只能覆蓋其中的一部分：有的模型擅長序列與文本建模，卻缺少顯式結構能力；有的模型能夠處理結構，卻局限于蛋白或單一實體；還有一些系統依賴外部編碼器、適配器或專門輸出頭，導致「能讀某種模態，卻不能原生生成這種模態」。

換句話說，現有生物大模型像一支各司其職的專家團隊——有人懂序列，有人懂結構，有人懂文本，但它們之間需要翻譯官（適配器/編碼器）才能協作。BioMatrix 想做的是：讓一個人同時掌握所有能力，不需要翻譯。

為了補上這塊關鍵拼圖，中國人民大學、上海人工智能實驗室的團隊提出了BioMatrix[1]：一個面向分子與蛋白的統一多模態生物基礎模型。BioMatrix 將分子序列、分子結構、蛋白序列、蛋白結構與自然語言統一到同一個離散 token 空間中，在單一 decoder-only 架構下完成理解與生成，推動生物大模型從「多組件拼接」走向「原生統一建模」。

論文鏈接：https://arxiv.org/abs/2606.22138

項目鏈接：https://github.com/QizhiPei/biomatrix

模型鏈接：https://huggingface.co/collections/QizhiPei/biomatrix

BioMatrix 統一多模態 Tokenization

BioMatrix 的核心思想可以概括為一句話：

把分子、蛋白與文本放進同一個「模態矩陣」中，讓模型用同一種語言理解和生成生命科學對象。

具體而言，BioMatrix 通過統一多模態 tokenization，將以下五類信息映射到共享離散詞表中：

• 分子 1D 序列：支持 SMILES 與 SELFIES 表示；
• 分子 3D 結構：通過改進的 MolStrucTok [2] 將三維構象離散化；
• 蛋白 1D 序列：使用氨基酸序列 token 表示；
• 蛋白 3D 結構：通過 GCP-VQVAE [3] 將蛋白結構編碼為離散結構 token；
• 自然語言文本：保留語言模型原有文本詞表，用于承載科學描述、任務指令與知識背景。

在這個框架下，過去看似完全不同的任務——例如分子描述生成、文本條件分子設計、蛋白 folding、inverse folding、蛋白序列-結構聯合生成、分子-蛋白親和力預測——都可以被統一為同一種形式：

給定一段由不同模態 token 組成的輸入，讓模型繼續生成目標模態 token。

這意味著 BioMatrix 不需要額外的外部編碼器、投影適配器或任務專用輸出頭。它像通用語言模型生成文本一樣，原生處理分子、蛋白、結構與語言之間的轉換和推理。

從「單模態專家」到「多模態通才」

過去的生物 AI 模型深耕于不同的領域：有的專攻蛋白結構，有的專攻分子生成，有的專攻生物醫學文本理解。但真實科研問題更像一個跨學科項目，需要同時讀懂分子結構、蛋白結構、實驗文本和相互作用關系。

BioMatrix 試圖把這些能力裝進一個統一模型中。它并非是指在某一個任務上定制一個專用系統，構建一個可遷移、可擴展的生物基礎模型底座，讓同一個模型能夠覆蓋更廣泛的生命科學任務，這才是它的目的。

相比 BioT5 系列 [4，5] 采用的多模塊架構，BioMatrix 邁向了原生統一：所有模態共享同一套 token 空間和單一 decoder，不再需要外部編碼器或適配器來橋接不同模態。

為此，BioMatrix 基于Qwen3-1.7B和Qwen3-4B[6] 構建了兩個規模的模型，并在約304.4B tokens的大規模多模態語料上進行繼續預訓練。該語料覆蓋四類核心數據：

1. 通用與科學文本；
2. 分子相關數據，包括分子序列、結構與文本視圖；
3. 蛋白相關數據，包括蛋白序列、結構與功能描述；
4. 跨實體與交錯數據，包括分子-蛋白相互作用、蛋白-蛋白相互作用，以及生物實體與科學文本交織的數據。

通過這樣的訓練，模型不僅學習單個實體的表示，也學習不同模態、不同實體之間的對應關系。

指令微調：覆蓋80個生物下游任務

為了驗證 BioMatrix 是否真的具備統一建模能力，團隊構建了一個覆蓋面廣泛的指令微調與評測體系，涵蓋80 個下游任務、6 大任務類別。這些任務橫跨三類實體范圍：

• 分子任務：包括分子描述生成、文本條件分子設計、分子性質預測、分子構象生成等；
• 蛋白任務：包括蛋白 folding、inverse folding、蛋白功能注釋、蛋白序列-結構聯合生成等；
• 分子-蛋白 / 蛋白-蛋白交互任務：包括分子-蛋白親和力預測、蛋白-蛋白結合界面預測、跨實體相互作用建模等。

同時，每類任務又進一步覆蓋 1D 序列與 3D 結構兩種模態層級。

這套任務體系在考察模型是否「會做題」之外，更考驗它能否在序列、結構、文本和跨實體關系之間自由切換。

結果突出，一個統一模型，在 77/80 個任務上達到領先或競爭水平

實驗結果表明，BioMatrix 在廣泛的生物任務上展現出強大的通用能力。在 80 個評測任務中，BioMatrix 在77 個任務上達到 SOTA 或具備競爭力的表現，證明單一原生多模態通才模型可以在大量任務上匹配甚至超越專用模型。

更值得關注的是，BioMatrix 的優勢尤其體現在那些真正需要「統一建模」的任務上，例如：

• 文本條件分子生成：模型需要把自然語言中的設計意圖轉化為分子表示；
• 屬性條件分子構象生成：模型需要同時理解分子結構與目標性質；
• 蛋白序列-結構聯合生成：模型需要在序列與三維結構之間建立一致關系；
• 結構驅動的分子-蛋白親和力預測：模型需要同時處理小分子結構、蛋白結構與跨實體相互作用。

這些結果說明，BioMatrix 的提升并不僅來自更大的模型規模，而來自其統一 token 空間和原生多模態建模方式。

結論與未來展望

BioMatrix 提出了一條通向統一生物基礎模型的新路徑：不是為每個任務構造一個專用架構，而是將分子、蛋白、結構和語言納入同一個 token 空間，讓模型在統一生成式框架下學習生命科學對象之間的關系。例如，在藥物發現中，研究者可以用自然語言描述目標性質，讓模型直接生成候選分子及其 3D 構象，同時預測與靶點蛋白的親和力——全在一個模型內完成，無需串聯多個工具。

當然，BioMatrix 仍然有進一步提升空間。例如，當前分子 3D 結構與蛋白 3D 結構仍使用不同結構 tokenizer，尚不能完全原生表達小分子與蛋白口袋之間的相對空間位姿；模型目前主要覆蓋小分子與蛋白，還沒有擴展到 DNA、RNA、糖類、脂質等更多生物實體；同時，如何在高度異構且不平衡的生物任務中訓練一個真正全任務統一的 SFT 模型，也仍是值得探索的問題。

盡管如此，BioMatrix 已經邁出了關鍵一步：它證明了一個統一的、原生多模態的生物大模型，可以在廣泛任務上接近或超越專用模型，為 AI4Science、藥物發現和蛋白工程打開了新的想象空間。

References

[1] Pei, Qizhi, et al. "BioMatrix: Towards a Comprehensive Biological Foundation Model Spanning the Modality Matrix of Sequences, Structures, and Language."arXiv preprint arXiv:2606.22138(2026).

[2] Gao, Kaiyuan, et al. "Tokenizing 3d molecule structure with quantized spherical coordinates."Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V. 1. 2026.

[3] Pourmirzaei, Mahdi, et al. "GCP-VQVAE: A Geometry-Complete Language for Protein 3D Structure."NeurIPS 2025 AI for Science Workshop.

[4] Pei, Qizhi, et al. "Biot5: Enriching cross-modal integration in biology with chemical knowledge and natural language associations." Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. 2023.

[5] Pei, Qizhi, et al. "Biot5+: Towards generalized biological understanding with iupac integration and multi-task tuning." Findings of the Association for Computational Linguistics: ACL 2024. 2024.

[6] Yang, An, et al. "Qwen3 technical report."arXiv preprint arXiv:2505.09388(2025).