Nature Medicine：戳破“AI大模型超越人類醫生”的神話，取得高分靠的是刷題背答案+瞎猜？

撰文丨王聰

編輯丨王多魚

排版丨水成文

最近，GPT-5、Gemini 這些大語言模型在醫學考試里拿高分、碾壓人類專家的消息層出不窮，這讓不少人產生了一種 AI 醫生馬上就能上崗的感覺。

而一項最新研究給所有樂觀者潑了一盆冷水——當前頂尖大模型在醫療應用中所取得的“高分”，很可能是“作弊”來的。

2026 年 6 月 26 日，微軟研究院、Scripps 研究所的研人員在國際頂尖醫學期刊Nature Medicine上發表了題為：Evaluating the robustness and readiness of large frontier models in health AI applications 的研究論文，論文第一作者兼共同通訊作者Gu Yu目前已加入字節跳動。

該研究系統性地應用并整合了一系列對抗性壓力測試，以評估主流大模型和醫療基準的穩健性（Robustnes）。該研究發現，把測試題目里的圖片刪掉、把選項順序打亂、把正確答案對應的圖像換成別的疾病……結果原本取得高分的大模型，瞬間跌到及格線以下，甚至還會一本正經地編出完全錯誤的診斷理由。

這項研究不僅戳破了“醫療 AI 能力超越人類醫生”的神話，更給整個行業提了個醒：醫療 AI 的評估，不能再只看“考試分數”了。

像 GPT-5 和 Gemini 這樣的前沿大語言模型在廣泛的醫療應用基準測試中表現出色。然而，在這些看似令人鼓舞的結果背后，仍存在顯著的增長空間，尤其是在多模態推理等前沿領域。

六套“壓力測試”，扒下大模型的“畫皮”

研究團隊設計了 6 項遞進的壓力測試，專門瞄準大模型的多模態推理能力——也就是同時看懂文字病歷和醫學影像，像醫生一樣綜合判斷的能力。結果暴露的問題，比想象中更嚴重——

1、沒圖也能“蒙對”？全靠“死記硬背”

第一項測試很簡單：把題目里的醫學影像（比如 X 光片、病理圖）直接刪掉，只留文字題干，看模型還能不能答對。

按理說，很多醫學題必須看圖才能診斷，沒圖就應該答不上來，或者明確說“信息不足”。但結果讓人大跌眼鏡：在《新英格蘭醫學雜志》（NEJM）的醫學挑戰題里，GPT-5 在去掉圖像后準確率只降了 13.92 個百分點，依然有 67.41%；而在專門篩選的“必須看圖才能答”的 197 道題里，所有模型的準確率都遠高于 20% 的隨機猜測水平——GPT-5 甚至達到了 41.32%。

這意味著這些模型根本沒在認真“看圖診斷”，而是在靠“刷題背答案”：記住了“某類題干描述對應某個答案”，哪怕沒有影像證據，也能蒙對一半。只有 GPT-4o 比較“老實”，沒圖的時候有一半概率直接拒絕回答，但也還是有 16.35% 的概率會瞎猜。

2、選項換個順序就翻車？“位置依賴”太嚴重

第三項測試更離譜：只把選擇題的選項順序打亂，題干、正確答案全不變，看模型會不會受影響。

結果在純文本輸入下，GPT-4o 的準確率直接從正常水平的 70%+ 跌到了 16.35%，只有在保留圖像的情況下，視覺信息能幫它抵消一部分干擾，準確率才會回升。這說明模型很多時候不是真的理解了知識點，而是記住了“正確答案在第幾個位置”這種表面規律，典型的“應試技巧”，不是真本事。

3、換張圖就“認死理”？視覺理解全是 bug

第五項測試最貼近臨床實際：把題干對應的正確影像，換成另一個符合某個錯誤選項的影像，題干和選項完全不變，看模型會不會跟著新影像改答案。

比如原題是“看圖診斷皮肌炎”，正確答案是 B 選項，研究人員把圖換成符合 C 選項“心內膜炎”的影像，按理說模型應該改選 C。但結果呢？GPT-5 的準確率從 84% 暴跌到 35%，也就是說大部分時候它還是盯著原來的 B 選項不放，根本沒意識到圖已經變了。更有意思的是 GPT-4o，反而準確率從 26.5% 升到了 36%——不是它看得更準了，而是隨機亂猜的概率變高了。

4、解釋越聽越靠譜？全是“一本正經的胡說八道”

最后一項測試專門檢測大模型的“診斷理由”：讓它一步步寫出推理過程，再看這些理由是不是真的支持它的答案。

結果發現三種典型問題：

• 答案對了，理由錯了：例如正確答案是“氣腫性結腸炎”，大模型說自己看到了“沿結腸壁的囊狀氣體影”（這個描述確實符合該病），但實際上它根本沒真的識別圖像，只是根據答案反推了一個聽起來合理的理由；

• 錯上加錯：一開始看錯了影像特征，后面的推理全部基于這個錯誤認知，越推越偏；

• 廢話文學：寫了一大堆結構嚴謹的話，比如“需要結合臨床癥狀、實驗室檢查綜合判斷”，但完全沒有實質信息，對診斷毫無幫助。

最可怕的是，這些錯誤的推理過程往往邏輯通順、術語專業，非專業人士（甚至普通醫生）很難立刻發現漏洞，很容易被誤導。

壓力測試揭示了大語言模型在多模態醫療應用中的隱藏脆弱性和穩健性差距

原來使用的“考題”，本身就有問題

為什么這些大模型能在公開榜單上拿高分，一測試就露餡？研究團隊發現：不是大模型太聰明，是我們用的“考題”（醫學基準數據集）太簡單、太單一了。

他們找了三位執業醫生，用 10 個臨床維度給 9 個常用的醫學評測數據集打了分，結果發現這些數據集的“難度側重”天差地別——

• NEJM Image Challenge：既需要復雜推理，又需要精細讀圖，最接近真實臨床診斷；

• JAMA Clinical Challenge：推理要求高，但很多題不用看圖，光讀文字就能蒙對；

• VQA-RAD、MIMIC-CXR：非常依賴圖像，但推理難度低，基本是“看圖認器官”；

• OmniMedVQA：推理和視覺要求都很低，更像基礎常識題。

基準測試在推理和視覺復雜度方面存在差異

這就導致一個尷尬的現實：如果一個模型只在 JAMA 這類“文本可解”的數據集上訓練，哪怕它在榜單上拿了第一，放到需要讀片的真實場景里也會完全失效。而我們過去總把這些數據集混為一談，用平均分來衡量模型能力，相當于用“單科成績”代表“全科水平”，完全是誤判。

給醫療 AI 的“退燒藥”：三個關鍵建議

這項研究不是為了否定大模型在醫療領域的價值，而是為了讓行業冷靜下來，建立更科學的評估體系。研究團隊最后給出了三個核心建議，值得所有從業者深思——

第一，給每個數據集發“說明書”，以后發布醫學評測數據集，必須附帶詳細的“元數據”：說明這個數據集主要考什么能力、適合評估哪類模型、有哪些局限性。不能只給個分數，卻不說這個分數到底代表什么。

第二，評估要“拆指標”，不能只看總分，就像體檢報告不會只看“總分”，而是分血常規、肝腎功能一樣，模型評估也要按“推理復雜度”“視覺依賴度”“不確定性處理能力”等臨床維度拆分指標，單獨匯報。比如要明確說“該模型在視覺推理任務上表現優異，但在不確定性處理上存在缺陷”，而不是籠統地說“該模型達到專家水平”。

第三，必須把“壓力測試”納入常規評估，以后醫療 AI 的發布前審計，不能只跑一遍標準數據集算準確率，必須把“輸入擾動”、“模態沖突”、“推理一致性”這類壓力測試作為必選項，和準確率一起匯報。就像新藥上市要做“不良反應測試”一樣，AI 上崗前也要做“抗干擾測試”。

醫療 AI 的價值，從來不是“考高分”，而是真正幫醫生減少誤診、幫患者獲得更準確的診斷。如果我們的評估體系只盯著榜單排名，只會催生更多“應試型 AI”——它們在測試中表現完美，到了真實的臨床應用時，面對模糊的影像、不完整的病歷、復雜的個體差異，就會漏洞百出。

這項研究撕開的不僅是大模型的“遮羞布”，更是整個行業的“認知誤區”：醫療 AI 的成熟度，不看它能在理想條件下拿多少分，而看它在混亂的真實世界里，能扛住多少意外。

論文鏈接：

https://www.nature.com/articles/s41591-026-04501-8