KAUST、上智院等提出通用自監(jiān)督基礎(chǔ)模型HorusEye，登Nature子刊

作者 |聯(lián)合研究團(tuán)隊(duì)

編輯丨ScienceAI

X 射線斷層成像（X-ray Tomography）是現(xiàn)代醫(yī)學(xué)診斷與科學(xué)研究的核心工具，涵蓋醫(yī)學(xué) CT、微 CT、納米 CT、相襯斷層成像和疊層衍射成像等多種模態(tài)。而圖像退化問(wèn)題(包括噪聲增強(qiáng)、空間分辨率降低、信噪比下降等)，是長(zhǎng)期制約其分析可靠性的重大障礙，在低劑量或數(shù)據(jù)稀缺條件下更為突出。

現(xiàn)有的圖像修復(fù)方法通常針對(duì)特定模態(tài)和預(yù)定義退化類型設(shè)計(jì)，泛化能力有限；同時(shí)往往依賴大規(guī)模配對(duì)數(shù)據(jù)集（含噪 / 干凈圖像對(duì)），而這類數(shù)據(jù)在 X 射線斷層成像中因倫理、實(shí)驗(yàn)和實(shí)際條件的限制極難獲取。

為此，來(lái)自沙特阿卜杜拉國(guó)王科技大學(xué)（KAUST）、上海科學(xué)智能研究院（下稱上智院）、哈爾濱工業(yè)大學(xué)等多家機(jī)構(gòu)的研究團(tuán)隊(duì)提出了HorusEye—— 一種面向 X 射線斷層成像通用修復(fù)的自監(jiān)督基礎(chǔ)模型。該模型摒棄了以往方法對(duì)退化過(guò)程的預(yù)設(shè)假設(shè)，轉(zhuǎn)而從數(shù)據(jù)中直接學(xué)習(xí)真實(shí)的、非參數(shù)的退化過(guò)程。基于超過(guò) 1 億張圖像的大規(guī)模訓(xùn)練，HorusEye 在多種成像模態(tài)和修復(fù)任務(wù)上展現(xiàn)出卓越的泛化性能，甚至在從未見(jiàn)過(guò)的成像模態(tài)上也能穩(wěn)定超越針對(duì)特定任務(wù)設(shè)計(jì)的方法。相關(guān)研究成果于 3 月 27 日發(fā)表在Nature Computational Science。

論文題目：HorusEye: a self-supervised foundation model for generalizable X-ray tomography restoration

論文地址：https://www.nature.com/articles/s43588-026-00973-3

代碼地址：https://github.com/Arturia-Pendragon-Iris/HorusEye_XRT_Restoration

現(xiàn)有方法面臨的核心挑戰(zhàn)

在 X 射線斷層成像領(lǐng)域，圖像修復(fù)長(zhǎng)期面臨三大核心難題：

一是模態(tài)與任務(wù)的高度異質(zhì)性：從毫米級(jí)醫(yī)學(xué) CT 到納米級(jí)疊層衍射成像，不同模態(tài)的退化機(jī)制差異巨大。現(xiàn)有方法通常為單一模態(tài)或特定任務(wù)量身定做，一旦超出訓(xùn)練條件就嚴(yán)重失效。

二是配對(duì)數(shù)據(jù)的獲取困境：深度學(xué)習(xí)方法通常需要大量成對(duì)的噪聲 / 干凈圖像進(jìn)行監(jiān)督訓(xùn)練，但在 X 射線斷層成像中，獲取真正干凈的參考圖像往往涉及高輻射劑量，受到倫理和實(shí)驗(yàn)條件的嚴(yán)格限制。

三是傳統(tǒng)噪聲建模的失效：傳統(tǒng)方法通常假設(shè)噪聲服從像素獨(dú)立的對(duì)數(shù)泊松分布。但研究團(tuán)隊(duì)通過(guò)頻譜分析發(fā)現(xiàn)，真實(shí)斷層成像噪聲具有信號(hào)依賴性、片間獨(dú)立性和片內(nèi)空間相關(guān)性等復(fù)雜特征，遠(yuǎn)非簡(jiǎn)單參數(shù)模型所能刻畫。

HorusEye 的核心創(chuàng)新設(shè)計(jì)

HorusEye 從 X 射線斷層成像的物理成像特性出發(fā)，提出了一種巧妙的自監(jiān)督預(yù)訓(xùn)練框架，其核心洞察在于：三維斷層掃描體中，相鄰切片之間的結(jié)構(gòu)信息具有高度連續(xù)性，而噪聲由于獨(dú)立采集過(guò)程表現(xiàn)出顯著的片間不一致性。

圖 1：HorusEye 整體架構(gòu)、開(kāi)發(fā)流程與數(shù)據(jù)集概覽。a-b，模型適用于多種修復(fù)任務(wù)和成像模態(tài)；c，結(jié)構(gòu)信息的片間連續(xù)性與噪聲的片間不連續(xù)性；d，基于 SwinUNet 的模型架構(gòu)；e-f，自監(jiān)督訓(xùn)練策略；g，大規(guī)模多模態(tài)數(shù)據(jù)集組成

基于這一物理先驗(yàn)，HorusEye 采用兩階段自監(jiān)督訓(xùn)練策略：

1. 真實(shí)噪聲提取（片間對(duì)比預(yù)訓(xùn)練）：利用中間切片預(yù)測(cè)任務(wù)，以兩張相鄰噪聲切片作為輸入預(yù)測(cè)中間切片。由于神經(jīng)網(wǎng)絡(luò)傾向于優(yōu)先學(xué)習(xí)連續(xù)的結(jié)構(gòu)信息而非隨機(jī)噪聲（受 Deep Image Prior 啟發(fā)），預(yù)測(cè)結(jié)果與原始圖像之間的殘差即被視為自提取噪聲。這一策略無(wú)需任何顯式噪聲模型，直接從數(shù)據(jù)中捕獲真實(shí)退化模式。

2. 去噪自編碼器預(yù)訓(xùn)練：將自提取噪聲注入干凈圖像生成偽噪聲訓(xùn)練數(shù)據(jù)，訓(xùn)練去噪網(wǎng)絡(luò)恢復(fù)原始干凈圖像。

兩階段之間通過(guò)互正反饋協(xié)同精煉策略（Mutual Positive-Feedback Corefinement）緊密耦合：噪聲提取網(wǎng)絡(luò)不斷為去噪網(wǎng)絡(luò)提供更真實(shí)的噪聲樣本，而去噪網(wǎng)絡(luò)的改進(jìn)又反哺更干凈的監(jiān)督信號(hào)，形成良性循環(huán)。這種動(dòng)態(tài)反饋機(jī)制使 HorusEye 能夠漸進(jìn)地縮小合成退化與真實(shí)退化之間的差距。

模型采用 SwinUNet 架構(gòu)作為骨干網(wǎng)絡(luò)，融合 Swin Transformer 編碼器和輕量卷積解碼器，包含約 1 億參數(shù)。整個(gè)訓(xùn)練基于 50 個(gè)數(shù)據(jù)集、超過(guò) 12 萬(wàn)個(gè)掃描體、總計(jì) 1 億張圖像的大規(guī)模多中心數(shù)據(jù)集完成。

醫(yī)學(xué) CT 去噪：逼近超高劑量掃描質(zhì)量

在醫(yī)學(xué) CT 領(lǐng)域，HorusEye 展現(xiàn)出卓越的低劑量 CT 修復(fù)能力。研究團(tuán)隊(duì)建立了專門的劑量對(duì)比數(shù)據(jù)集（含 10 頭離體豬和兩個(gè)標(biāo)準(zhǔn)體模），在三個(gè)劑量水平下進(jìn)行定量評(píng)估。

圖 2：HorusEye 在醫(yī)學(xué) CT 上的應(yīng)用。a，體模和離體豬的劑量對(duì)比去噪可視化結(jié)果；b，PSNR 和 SSIM 定量對(duì)比；c，真實(shí)臨床 CT 去噪結(jié)果及 FSC 曲線對(duì)比

與四種主流后處理方法（WGAN、RED、CT-Former、MAP-NN）和一種重建方法（ASIR）的對(duì)比表明：

• HorusEye 能夠?qū)⒌蛣┝繏呙鑸D像修復(fù)至接近超高劑量（140kV/500mA）的視覺(jué)質(zhì)量；
• PSNR 提升約 2 dB，SSIM 提升 0.02-0.04，差異具有高度統(tǒng)計(jì)顯著性（P < 0.0001）；
• 在真實(shí)臨床 CT 數(shù)據(jù)上，HorusEye 的背景噪聲抑制（ΔBNP）相比原始圖像降低 10-20 dB，優(yōu)于其他方法 5-10 dB；
• FSC 曲線在全頻率范圍內(nèi)保持最高，表明高頻細(xì)節(jié)信息得到最佳保留。

跨模態(tài)泛化：從毫米到納米尺度的通用修復(fù)

HorusEye 可直接應(yīng)用于多種 X 射線斷層成像模態(tài)，包括微 CT、納米 CT、相襯斷層成像、動(dòng)態(tài)斷層成像、能譜斷層成像和疊層衍射成像，分辨率跨越毫米到納米尺度。值得注意的是，后三種模態(tài)在訓(xùn)練階段完全未被包含，用以嚴(yán)格測(cè)試跨模態(tài)泛化能力。

圖 3：HorusEye 在多種 X 射線斷層成像模態(tài)上的應(yīng)用。a-f，微 CT（雞骨）、納米 CT（電極）、相襯斷層成像（腎臟）、能譜斷層成像（人體胸部）、動(dòng)態(tài)斷層成像（合成巖漿）和疊層衍射成像（納米多孔玻璃）的修復(fù)結(jié)果與現(xiàn)有最優(yōu)方法對(duì)比

與 k-SVD、BM3D、DIP 和 ZS-N2N 等通用去噪方法相比，HorusEye 在所有模態(tài)上均展現(xiàn)出明顯優(yōu)勢(shì)：

• ΔBNP 改善約 10-15 dB（其他方法僅約 5 dB）；
• FSC 曲線全頻段保持更高相關(guān)值；
• 在劑量對(duì)比雞骨微 CT 數(shù)據(jù)集上，PSNR 優(yōu)于其他方法約 2 dB，SSIM 優(yōu)約 0.1。

通過(guò)在特定數(shù)據(jù)集上的自監(jiān)督微調(diào)，HorusEye 還能進(jìn)一步提升修復(fù)質(zhì)量，體現(xiàn)了其出色的靈活性和可遷移性。

多任務(wù)遷移：凍結(jié)編碼器即可適配新任務(wù)

除去噪外，HorusEye 還被成功遷移至四類常見(jiàn) X 射線斷層成像修復(fù)問(wèn)題：4 倍超分辨率、5 倍層厚重建、金屬偽影去除和運(yùn)動(dòng)校正。遷移過(guò)程僅需微調(diào)輕量級(jí)解碼器，預(yù)訓(xùn)練編碼器完全固定。

圖 4：HorusEye 在其他修復(fù)任務(wù)上的應(yīng)用。a，超分辨率、層厚重建、金屬偽影去除和運(yùn)動(dòng)校正的可視化結(jié)果及與真實(shí)值的差異圖；b，PSNR 和 SSIM 定量分析

在所有任務(wù)中，HorusEye 均能恢復(fù)精細(xì)結(jié)構(gòu)、產(chǎn)生更清晰的邊界和更少的殘留偽影。與通用修復(fù)模型（SwinIR、Cycle-GAN）、相同架構(gòu)但從零訓(xùn)練的基線模型，以及各任務(wù)專用方法的對(duì)比中，HorusEye 在 PSNR 和 SSIM 上均具優(yōu)勢(shì)。HorusEye 與基線模型之間的性能差距充分證明了大規(guī)模預(yù)訓(xùn)練的關(guān)鍵作用 —— 預(yù)訓(xùn)練編碼器有效捕獲了可遷移的結(jié)構(gòu)與解剖特征表示。

臨床評(píng)估：顯著提升診斷準(zhǔn)確率

為評(píng)估 HorusEye 的臨床實(shí)用價(jià)值，研究團(tuán)隊(duì)開(kāi)展了多中心臨床評(píng)估，由 10 位具有 10 年以上經(jīng)驗(yàn)的放射科醫(yī)生以雙盲方式獨(dú)立評(píng)分。

圖 5：HorusEye 臨床評(píng)估。a，低劑量 CT 經(jīng)不同方法處理后的噪聲、對(duì)比度和病變可檢測(cè)性評(píng)分對(duì)比；b，HorusEye 增強(qiáng)血管可視化效果；c，HorusEye 幫助檢出最初被遺漏的病變案例

臨床評(píng)估的核心發(fā)現(xiàn)：

• HorusEye 使放射科醫(yī)生評(píng)分平均提升 1-3 分（5 分制），達(dá)到接近高劑量參考掃描的水平；
• 在難以檢測(cè)的低對(duì)比度病變回顧性研究中效果尤為顯著：對(duì)于非增強(qiáng) CT 上的肺栓塞，僅 3.3%（1/30）的放射科醫(yī)生能在原始圖像上識(shí)別，而經(jīng) HorusEye 處理后檢出率躍升至 80.0%（24/30）；
• 肝臟腫瘤檢出率從 53.3% 提升至 93.3%，主動(dòng)脈夾層破裂口檢出率從 63.3% 提升至 93.3%；
• 在 17 項(xiàng)計(jì)算機(jī)輔助診斷（CAD）任務(wù)評(píng)估中，HorusEye 普遍提升了下游任務(wù)性能，例如低劑量肺動(dòng)脈 / 靜脈分割的 Dice 系數(shù)從約 70% 提升至約 88%。

退化分析：揭示斷層成像噪聲的真實(shí)面貌

借助 HorusEye 的噪聲提取能力，研究團(tuán)隊(duì)對(duì) 103,725 個(gè)來(lái)自不同模態(tài)和掃描對(duì)象的噪聲樣本進(jìn)行了系統(tǒng)分析。

圖 6：利用 HorusEye 進(jìn)行 X 射線斷層成像退化分析。a，103,725 個(gè)噪聲樣本的 t-SNE 聚類可視化，不同數(shù)據(jù)集的噪聲自然形成清晰簇；b，噪聲功率譜和相位譜隨頻率的分布特征

t-SNE 聚類分析揭示了一個(gè)重要事實(shí)：來(lái)自相同掃描設(shè)置的噪聲自然聚集成簇，不同設(shè)置之間存在明顯分離。這證實(shí)噪聲特征隨成像模態(tài)和掃描對(duì)象而本質(zhì)性變化，對(duì)針對(duì)特定場(chǎng)景訓(xùn)練的修復(fù)方法構(gòu)成巨大挑戰(zhàn)。值得關(guān)注的是，長(zhǎng)期以來(lái)被廣泛采用的對(duì)數(shù)泊松噪聲模型，在聚類圖中與真實(shí)噪聲明顯分離。這一現(xiàn)象表明，許多現(xiàn)有模型所依賴的噪聲建模方式，在刻畫真實(shí)系統(tǒng)退化時(shí)存在固有局限。

總結(jié)與展望

HorusEye 的創(chuàng)新源于對(duì) X 射線斷層成像物理特性的洞察 —— 利用結(jié)構(gòu)的片間連續(xù)性與噪聲的片間獨(dú)立性這一關(guān)鍵對(duì)比，構(gòu)建了無(wú)需配對(duì)監(jiān)督或噪聲模型假設(shè)的自監(jiān)督學(xué)習(xí)框架。通過(guò)互正反饋協(xié)同精煉機(jī)制，模型能夠漸進(jìn)式地從合成退化過(guò)渡到真實(shí)退化學(xué)習(xí)，實(shí)現(xiàn)了從去噪到超分辨率、偽影去除等多任務(wù)的統(tǒng)一遷移能力。

實(shí)驗(yàn)與臨床評(píng)估表明，HorusEye 不僅是一種通用的圖像修復(fù)技術(shù)，更有望成為 X 射線斷層成像的通用后處理工具 —— 通過(guò)提升低劑量掃描質(zhì)量來(lái)降低輻射風(fēng)險(xiǎn)，通過(guò)增強(qiáng)老舊設(shè)備的成像效果來(lái)促進(jìn)醫(yī)療資源可及性，為更安全、更高效、更精準(zhǔn)的醫(yī)學(xué)影像實(shí)踐開(kāi)辟了新路徑。

展望未來(lái)，將 HorusEye 推向臨床常規(guī)應(yīng)用仍需大規(guī)模多中心驗(yàn)證。同時(shí)，從數(shù)據(jù)中直接學(xué)習(xí)真實(shí)退化的范式也為其他斷層成像技術(shù)的圖像質(zhì)量?jī)?yōu)化提供了重要啟示。