哈佛、MIT Broad研究所發(fā)布MEDEA：組學(xué)智能體缺的是自知之明

作者：論文團(tuán)隊(duì)

編輯丨ScienceAI

在靶點(diǎn)篩選、合成致死判斷與免疫治療響應(yīng)預(yù)測(cè)等治療發(fā)現(xiàn)場(chǎng)景中，AI 智能體需要串聯(lián)多個(gè)組學(xué)數(shù)據(jù)源、調(diào)用多種機(jī)器學(xué)習(xí)模型并檢索文獻(xiàn)來(lái)完成多步分析。但現(xiàn)有智能體普遍面臨兩個(gè)問(wèn)題：一是大模型在長(zhǎng)鏈分析中會(huì)逐步丟失用戶指定的生物學(xué)上下文（如把「初始型 CD4+ αβ T 細(xì)胞」模糊成「CD4+ T 細(xì)胞」），導(dǎo)致下游分析在錯(cuò)誤粒度上進(jìn)行卻不觸發(fā)任何報(bào)警；二是面對(duì)多源證據(jù)沖突時(shí)缺乏調(diào)和機(jī)制 —— 工具輸出、文獻(xiàn)檢索與大模型參數(shù)化知識(shí)給出矛盾結(jié)論時(shí)，系統(tǒng)無(wú)法做出可追溯的取舍。

為此，哈佛醫(yī)學(xué)院隋芃瑋 / 高尚華 / Marinka Zitnik 團(tuán)隊(duì)提出 MEDEA，一個(gè)在分析流程每一步都嵌入驗(yàn)證機(jī)制的組學(xué) AI 智能體。MEDEA 在靶點(diǎn)發(fā)現(xiàn)、合成致死推理、免疫治療響應(yīng)預(yù)測(cè)三個(gè)場(chǎng)景上完成了 5,679 次完整分析，比單獨(dú)使用大模型的準(zhǔn)確率最高提升 45.9%，且消融實(shí)驗(yàn)表明性能提升的主要來(lái)源不是骨干模型的能力差異，而是驗(yàn)證模塊的有無(wú)。

論文地址：https://medea.openscientist.ai

開源地址：https://github.com/mims-harvard/Medea

方法設(shè)計(jì)

MEDEA 接受自然語(yǔ)言描述的研究目標(biāo)，使用 20 個(gè)專業(yè)工具執(zhí)行多步分析，核心設(shè)計(jì)原則是在流程每一步嵌入驗(yàn)證，而非僅在最終輸出時(shí)判斷對(duì)錯(cuò)。

系統(tǒng)由四個(gè)協(xié)同模塊組成。研究規(guī)劃模塊將自然語(yǔ)言目標(biāo)轉(zhuǎn)化為分步研究計(jì)劃后，進(jìn)行上下文驗(yàn)證（每個(gè)步驟中的細(xì)胞類型、疾病等生物學(xué)實(shí)體是否與所選工具兼容）和完整性驗(yàn)證（計(jì)劃的技術(shù)可行性與邏輯一致性）。例如，當(dāng)用戶要求分析肝星狀細(xì)胞的靶點(diǎn)，但所選單細(xì)胞基礎(chǔ)模型的預(yù)訓(xùn)練數(shù)據(jù)不包含該細(xì)胞類型時(shí)，上下文驗(yàn)證會(huì)檢測(cè)到不兼容，引導(dǎo)智能體從可用的近似細(xì)胞類型中選擇替代方案并記錄替代理由。

分析執(zhí)行模塊在代碼執(zhí)行前后各加一層驗(yàn)證：執(zhí)行前檢查語(yǔ)法與接口兼容性，執(zhí)行后審計(jì)數(shù)據(jù)來(lái)源與輸出和計(jì)劃的一致性。即使代碼運(yùn)行成功，如果輸出偏離研究計(jì)劃預(yù)期，也會(huì)被標(biāo)記并觸發(fā)修正。

文獻(xiàn)推理模塊在檢索完成后，先對(duì)每篇論文在物種、疾病、細(xì)胞類型等維度做相關(guān)性篩選，過(guò)濾不相關(guān)文獻(xiàn)后再進(jìn)行證據(jù)綜合，避免「檢索到什么就用什么」的問(wèn)題。

多輪討論模塊以三個(gè)模型組成的評(píng)審團(tuán)，對(duì)工具分析、文獻(xiàn)推理、骨干模型三條證據(jù)通路的輸出做加權(quán)投票與多輪辯論。證據(jù)收斂時(shí)給出結(jié)論，分裂或不足時(shí)選擇校準(zhǔn)棄權(quán) —— 即不回答。

工具空間中有 4 個(gè)機(jī)器學(xué)習(xí)模型（PINNACLE、TranscriptFormer、COMPASS、OpenScholar），它們是被智能體調(diào)用的工具而非骨干模型。智能體根據(jù)疾病上下文動(dòng)態(tài)選擇調(diào)用哪個(gè)模型。受限工具實(shí)驗(yàn)表明，PINNACLE 在類風(fēng)濕關(guān)節(jié)炎等疾病上更優(yōu)，TranscriptFormer 在肝母細(xì)胞瘤等場(chǎng)景上更優(yōu)，反映了蛋白質(zhì)互作網(wǎng)絡(luò)拓?fù)渑c基因表達(dá)動(dòng)態(tài)兩類信號(hào)的互補(bǔ)性。

MEDEA 在三個(gè)開放式治療發(fā)現(xiàn)任務(wù)上跑了 5,679 次完整組學(xué)分析，覆蓋精準(zhǔn)靶點(diǎn)發(fā)現(xiàn)（2,400 次，涵蓋 5 種疾病，29 個(gè)細(xì)胞類型）、合成致死推理（2,385 次，7 個(gè)癌細(xì)胞系）、以及患者級(jí)別的免疫治療響應(yīng)預(yù)測(cè)（894 次，298 名膀胱癌患者）。

細(xì)胞類型特異性靶點(diǎn)發(fā)現(xiàn)

2,400 次分析，覆蓋類風(fēng)濕關(guān)節(jié)炎、1 型糖尿病、干燥綜合征、肝母細(xì)胞瘤、濾泡性淋巴瘤五種疾病及 29 種細(xì)胞類型。MEDEA 比單獨(dú)使用大模型的準(zhǔn)確率最高提升 45.9%。

該場(chǎng)景的核心挑戰(zhàn)在于細(xì)胞類型粒度。大模型在多步分析中會(huì)逐步模糊細(xì)胞類型 —— 將用戶指定的「初始型 CD4+ αβ T 細(xì)胞」簡(jiǎn)化為「CD4+ T 細(xì)胞」。在類風(fēng)濕關(guān)節(jié)炎中，初始型與效應(yīng)記憶型 CD4+ αβ T 細(xì)胞的致病角色截然不同，混淆會(huì)導(dǎo)致靶點(diǎn)推薦指向錯(cuò)誤的生物學(xué)邏輯。加入上下文驗(yàn)證后，MEDEA 在髓樣樹突細(xì)胞上的準(zhǔn)確率提升 28.9%，在初始型 CD4+ αβ T 細(xì)胞上提升 21.7%—— 這些恰恰是上下文粒度直接決定靶點(diǎn)推薦質(zhì)量的細(xì)胞類型。

消融實(shí)驗(yàn)揭示了一個(gè)結(jié)構(gòu)性矛盾。大模型單獨(dú)使用時(shí)幾乎從不放棄回答（棄權(quán)率僅 1.8%），但跨五種疾病的平均錯(cuò)誤率高達(dá) 69.2%—— 在 1 型糖尿病上甚至達(dá)到 80%。文獻(xiàn)檢索配置方向相反：77.6% 的分析選擇放棄回答，因?yàn)榧?xì)胞類型特異性的靶點(diǎn)文獻(xiàn)確實(shí)太過(guò)稀缺。大模型的參數(shù)化知識(shí)覆蓋面廣但可靠性低，文獻(xiàn)證據(jù)可靠性高但覆蓋面窄，任何單一通路都無(wú)法同時(shí)滿足兩者，只有多條通路互相校驗(yàn)才能兼顧。 完整 MEDEA 達(dá)到最高準(zhǔn)確率和最低失敗率。

合成致死推理：糾錯(cuò)、補(bǔ)漏、止損

2,385 次分析，覆蓋 MCF7、MCF10A、MDAMB231、CAL27、CAL33、A549、A427 七個(gè)癌細(xì)胞系。MEDEA 比骨干大模型最高提升 21.7%（MCF7）。

MEDEA 在該場(chǎng)景下展現(xiàn)出三種行為模式。在至少 323 個(gè)大模型答錯(cuò)的案例中給出了正確判斷（糾錯(cuò)）；在 175 個(gè)大模型棄權(quán)的案例中給出了正確答案（補(bǔ)漏）；在 141 個(gè)大模型犯錯(cuò)的案例中選擇棄權(quán)而非跟著錯(cuò)（止損）。在藥物發(fā)現(xiàn)場(chǎng)景中，止損可能比糾錯(cuò)更有價(jià)值 —— 一個(gè)錯(cuò)誤的合成致死預(yù)測(cè)可能觸發(fā)昂貴的實(shí)驗(yàn)跟進(jìn)，而一個(gè)校準(zhǔn)的棄權(quán)只會(huì)讓研究者多花時(shí)間尋找其他證據(jù)。

系統(tǒng)整合了 DepMap 基因共依賴分?jǐn)?shù)與通路富集分析，對(duì)基因?qū)β?lián)合抑制是否會(huì)選擇性殺死癌細(xì)胞做出可追溯的判斷。

免疫治療響應(yīng)預(yù)測(cè)

894 次患者級(jí)別分析，基于 IMvigor210 膀胱癌隊(duì)列的 298 名患者。MEDEA 比大模型最高提升 23.9%。在高腫瘤突變負(fù)荷且非炎癥型微環(huán)境這一最困難的亞組中，MEDEA 修正了底層機(jī)器學(xué)習(xí)模型 50.9% 的誤分類。

論文中的一個(gè)患者案例清晰展示了多源證據(jù)沖突時(shí)的決策過(guò)程。一名腫瘤突變負(fù)荷為 19.0 的男性患者，GPT-4o 和 Claude 3.7 Sonnet 均基于高突變負(fù)荷預(yù)測(cè)「響應(yīng)」。MEDEA 調(diào)用 COMPASS 分析腫瘤轉(zhuǎn)錄組后發(fā)現(xiàn) T 細(xì)胞耗竭嚴(yán)重（評(píng)分 0.5067）、B 細(xì)胞浸潤(rùn)極低（0.0260），微環(huán)境整體呈功能失調(diào)；而文獻(xiàn)檢索恰恰支持「高突變負(fù)荷→好響應(yīng)」的關(guān)聯(lián) —— 兩條證據(jù)直接矛盾。經(jīng)多輪討論調(diào)和后，MEDEA 判定微環(huán)境功能障礙信號(hào)優(yōu)先于突變負(fù)荷的統(tǒng)計(jì)關(guān)聯(lián)，預(yù)測(cè)「不響應(yīng)」?；颊邔?shí)際結(jié)局為疾病進(jìn)展。整個(gè)決策鏈路可追溯。

驗(yàn)證機(jī)制的貢獻(xiàn)大于骨干模型的選擇

消融實(shí)驗(yàn)中最核心的發(fā)現(xiàn)：MEDEA 的性能提升并非來(lái)自更強(qiáng)的骨干大模型。 無(wú)論使用 GPT-4o 還是 Claude 3.7 Sonnet 作為骨干，加入驗(yàn)證模塊后性能顯著提升，去掉后顯著下降。這意味著當(dāng)前組學(xué)智能體的性能瓶頸可能不在推理能力，而在過(guò)程可靠性。

MEDEA 的輸出不是一個(gè)標(biāo)簽或分?jǐn)?shù)，而是一份包含完整推理鏈路的分析報(bào)告 —— 研究計(jì)劃、每步工具調(diào)用與輸出、文獻(xiàn)檢索與相關(guān)性評(píng)分、證據(jù)調(diào)和的決策過(guò)程。對(duì)于需要向團(tuán)隊(duì)解釋「為什么推薦這個(gè)靶點(diǎn)」或「為什么判斷該患者不響應(yīng)」的場(chǎng)景，這種可審計(jì)的輸出形態(tài)具有直接的實(shí)際價(jià)值。

代碼、評(píng)測(cè)基準(zhǔn)和全部工具配置均已開源，模塊化設(shè)計(jì)支持選擇性集成。論文同時(shí)指出局限性：評(píng)測(cè)基準(zhǔn)依賴已有單細(xì)胞圖譜和特定患者隊(duì)列，部分評(píng)測(cè)依賴大模型評(píng)審，工具本身編碼了細(xì)胞類型粒度等假設(shè)，評(píng)審團(tuán)式共識(shí)模塊存在關(guān)聯(lián)錯(cuò)誤風(fēng)險(xiǎn)。

在藥物發(fā)現(xiàn)中，一個(gè)自信的錯(cuò)誤答案往往比一句誠(chéng)實(shí)的「我不確定」代價(jià)更高。MEDEA 的校準(zhǔn)棄權(quán) —— 在證據(jù)不足時(shí)選擇不回答 —— 或許是這項(xiàng)工作中最具實(shí)際價(jià)值的設(shè)計(jì)。