用自旋電子硬件給AI訓(xùn)練“減負(fù)”--激活函數(shù)概率梯度反向傳播算法硬件加速 | 進(jìn)展

人工智能已經(jīng)全面融入我們的工作與生活，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)支撐起海量智能應(yīng)用，成為驅(qū)動(dòng)科技革命與產(chǎn)業(yè)升級(jí)的核心驅(qū)動(dòng)力。而支撐這一切的底層算法之一，就是誤差反向傳播(Back-propagation, BP)算法。BP算法的核心流程包含信息前向傳播與誤差反向傳遞，其整個(gè)運(yùn)算過程可分解為乘法、加法、非線性函數(shù)激活與激活函數(shù)的求導(dǎo)等四類基本操作，其中大量乘法運(yùn)算是造成計(jì)算密集與高能耗的主要原因。

中國(guó)科學(xué)院物理研究所研究/北京凝聚態(tài)物理國(guó)家研究中心韓秀峰團(tuán)隊(duì)認(rèn)為對(duì)激活函數(shù)及其梯度進(jìn)行合理近似或者無偏估計(jì)、在不改變網(wǎng)絡(luò)結(jié)構(gòu)的前提下動(dòng)態(tài)剔除無效節(jié)點(diǎn)及與之相關(guān)的運(yùn)算，不失為提升BP算法效率的有效策略。該團(tuán)隊(duì)提出一種全新的優(yōu)化思路：利用自旋軌道力矩磁性隧道結(jié)(SOT?MTJ)的本征物理隨機(jī)性，通過SOT-MTJ硬件隨機(jī)采樣實(shí)現(xiàn)激活函數(shù)梯度的概率化近似，構(gòu)建出更高效的激活函數(shù)概率梯度反向傳播(p?GAF?BP)算法。以往，SOT-MTJ主要用于高性能磁隨機(jī)存儲(chǔ)器(MRAM)研發(fā)。通過另辟蹊徑，團(tuán)隊(duì)注意到SOT?MTJ還具有連續(xù)可調(diào)的隨機(jī)翻轉(zhuǎn)特性——從低阻態(tài)翻轉(zhuǎn)到高阻態(tài)的概率受外加電流的連續(xù)調(diào)制，能夠?qū)⑵溆米鞲怕士烧{(diào)的真隨機(jī)數(shù)發(fā)生器，其高低阻態(tài)的涌現(xiàn)概率分布恰與sigmoid等典型激活函數(shù)σ高度吻合，可將其用于此類激活函數(shù)尤其是其梯度的無偏估計(jì)，并通過SOT-MTJ硬件執(zhí)行此類操作。

圖：基于自旋電子硬件采樣的激活函數(shù)概率梯度反向傳播算法。(A) 高勢(shì)壘自旋軌道力矩磁隧道結(jié)(SOT-MTJ)概率翻轉(zhuǎn)特性圖。(B) 概率梯度激活函數(shù)反向傳播(p-GAF-BP)算法中，誤差沿采樣結(jié)果為 (1,0) 的節(jié)點(diǎn)進(jìn)行反向傳播。(E-F) BP與p-GAF-BP在 MNIST 數(shù)據(jù)集識(shí)別準(zhǔn)確率達(dá) 90% 時(shí)，反向傳播梯度計(jì)算所需運(yùn)算次數(shù) (C) 及對(duì)應(yīng)能耗 (D) 對(duì)比。

實(shí)驗(yàn)與模擬結(jié)果表明，p?GAF?BP算法在保持模型精度基本不變的情況下，實(shí)現(xiàn)了運(yùn)算量與能耗的顯著降低。在異或門(XOR)邏輯任務(wù)中，該算法通過硬件實(shí)驗(yàn)成功完成網(wǎng)絡(luò)訓(xùn)練；在MNIST手寫數(shù)字識(shí)別任務(wù)中，包含1至3層隱藏層的網(wǎng)絡(luò)均達(dá)到97%以上的識(shí)別準(zhǔn)確率，與經(jīng)典BP算法相當(dāng)。更重要的是，在達(dá)到相同識(shí)別精度的條件下，p?GAF?BP將梯度計(jì)算中的乘法與加法運(yùn)算量減少約 1個(gè)數(shù)量級(jí)，能耗降低約79%(圖(C-D))。

這項(xiàng)工作將自旋電子器件的物理特性與神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)訓(xùn)練算法深度結(jié)合，另辟“硬件?算法協(xié)同”的AI節(jié)能訓(xùn)練新范式。未來，隨著自旋電子器件的集成化與芯片化，該方法可進(jìn)一步應(yīng)用于邊緣智能芯片、低功耗訓(xùn)練設(shè)備，甚至擴(kuò)展至大規(guī)模Transformer與大模型訓(xùn)練場(chǎng)景，為綠色普惠AI提供支撐。上述研究成果以“Back Propagation Eased by Spintronic-Hardware-Sampled Probabilistic Gradient of Activation Function”為題發(fā)表在Newton期刊(https://doi.org/10.1016/j.newton.2026.100520)，并申請(qǐng)相關(guān)專利。中國(guó)科學(xué)院物理研究所M02組博士生徐迎千為第一作者，中國(guó)科學(xué)院物理研究所韓秀峰研究員、萬蔡華副研究員共同通訊作者，該項(xiàng)研究得到了國(guó)家重點(diǎn)研發(fā)項(xiàng)目(MOST)、國(guó)家自然科學(xué)基金(NSFC)和中國(guó)科學(xué)院國(guó)際交流計(jì)劃(PIFI)的資助。

編輯：endlesscliff