AI學(xué)會(huì)了像人腦一樣遺忘，可編程遺忘機(jī)制為邊緣AI計(jì)算“大減負(fù)”

近期，美國(guó)俄勒岡州立大學(xué)研發(fā)出一種新型成像傳感器，不僅可在探測(cè)光線的同時(shí)進(jìn)行圖像存儲(chǔ)（近期光照信息），還能實(shí)現(xiàn)信息的按需“遺忘”。

受人腦突觸機(jī)制啟發(fā)，研究人員利用有機(jī)層捕獲光生空穴，通過電壓調(diào)節(jié)記憶時(shí)長(zhǎng)：正電壓加速遺忘、負(fù)電壓則延長(zhǎng)記憶至小時(shí)級(jí)，同一硬件可通過調(diào)節(jié)記憶時(shí)長(zhǎng)適配不同視覺任務(wù)。

它能夠直接在傳感器端完成部分基礎(chǔ)計(jì)算，從源頭減少數(shù)據(jù)搬運(yùn)。之所以能夠?qū)崿F(xiàn)這種效果，原因在于有機(jī)吸光層與氧化銦鎵鋅（IGZO）晶體管組合，實(shí)現(xiàn)光吸收（有機(jī)層）與電荷輸運(yùn)（IGZO 溝道）功能分離，省去了“傳感器-內(nèi)存-處理器”間的頻繁數(shù)據(jù)傳輸，有望大幅降低機(jī)器人視覺能耗。

這種新型傳感器可通過光電協(xié)同調(diào)制，靈活編程其自身的學(xué)習(xí)、記憶和遺忘行為，為未來提升機(jī)器人、無(wú)人機(jī)以及邊緣AI 設(shè)備的視覺系統(tǒng)效率奠定了基礎(chǔ)。相關(guān)論文發(fā)表在 Advanced Functional Materials 上 [1]。

圖丨相關(guān)論文（來源：Advanced Functional Materials）

當(dāng)下，數(shù)碼相機(jī)依賴互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）或電荷耦合器件（CCD），將光子轉(zhuǎn)換為電子。然而，這些器件本身無(wú)法存儲(chǔ)圖像，數(shù)據(jù)必須先傳輸?shù)絻?nèi)存中，才能進(jìn)一步進(jìn)行處理。

“傳統(tǒng)的相機(jī)傳感器在捕捉圖像后，除非將信息傳輸?shù)絾为?dú)的存儲(chǔ)組件，否則會(huì)立即忘記圖像內(nèi)容。”俄勒岡州立大學(xué)Larry Cheng 助理教授對(duì)媒體表示，“我們的設(shè)備可以識(shí)別并記住圖像，更重要的是，它還能逐漸遺忘圖像。這種逐漸遺忘的特性是該設(shè)備的關(guān)鍵且重要的組成部分。”

（來源：https://engineering.oregonstate.edu/people/larry-che

在傳統(tǒng)的馮·諾依曼計(jì)算架構(gòu)中，存儲(chǔ)與處理單元是分離的，這會(huì)導(dǎo)致數(shù)據(jù)頻繁搬運(yùn)，正是由于“存儲(chǔ)墻”瓶頸的存在，限制了它的速度和能效。

受人腦運(yùn)作方式的靈感啟發(fā)，研究團(tuán)隊(duì)開發(fā)了這種新型裝置。晶體管中的電荷就像神經(jīng)遞質(zhì)多巴胺一樣，能夠增強(qiáng)突觸（神經(jīng)元之間的連接）之間的連通性，從而增強(qiáng)人們所保留的記憶。

新型傳感器與傳統(tǒng)相機(jī)在信息處理方式上具有顯著的不同：傳統(tǒng)方案通過AI 識(shí)別算法理解世界，而新方案則利用硬件自身的短時(shí)記憶，直接記錄環(huán)境變化。

具體而言，典型的AI 圖像識(shí)別算法逐幀分析捕獲的視頻流來檢測(cè)運(yùn)動(dòng)物體，而新型傳感器則存儲(chǔ)近期照射到設(shè)備上的光強(qiáng)度變化歷史。通過這種方式，光電晶體管能夠突出環(huán)境中的變化信息，并保留其時(shí)間演化過程。更重要的是，它記住這些變化的時(shí)間可根據(jù)具體需求進(jìn)行調(diào)整。

物體運(yùn)動(dòng)的速度與傳感器需要“記住”它的時(shí)間呈規(guī)律變化：物體運(yùn)動(dòng)速度快，傳感器需要“記住”它的時(shí)間越短；物體動(dòng)得越慢，需要“記住”的時(shí)間則越長(zhǎng)。例如，對(duì)于時(shí)速 250 公里的無(wú)人機(jī)，只需記錄瞬間的運(yùn)動(dòng)軌跡即可；但用于識(shí)別可疑徘徊者的門鈴攝像頭，則需要保存更長(zhǎng)時(shí)間的光強(qiáng)變化序列。

（來源：俄勒岡州立大學(xué)）

這種新方法的關(guān)鍵突破在于，通過可調(diào)節(jié)的記憶時(shí)長(zhǎng)，讓單個(gè)傳感器能夠?qū)崿F(xiàn)多樣任務(wù)，包括從高速目標(biāo)跟蹤到慢速行為監(jiān)控等，并在這個(gè)過程中同時(shí)優(yōu)化響應(yīng)速度和能耗表現(xiàn)。

研究人員在實(shí)驗(yàn)中驗(yàn)證了器件的優(yōu)異性能，特別是顯著的低功耗優(yōu)勢(shì)。該器件有效工作光強(qiáng)可在低于 5μW·cm?2的條件下工作，并支持 0.5μW·cm?2的弱光有效成像，比此前同類有機(jī)器件低 2 個(gè)數(shù)量級(jí)以上。

Larry Cheng 補(bǔ)充說道：“商用相機(jī)需要不斷地在傳感器、存儲(chǔ)設(shè)備和處理器之間傳輸數(shù)據(jù)，因此運(yùn)行圖像識(shí)別算法相對(duì)來說非常耗能。直接在傳感器上進(jìn)行這種基礎(chǔ)處理的能力，有望大幅降低能耗需求。”

（來源：Advanced Functional Materials）

研究人員制造的原型設(shè)備是一個(gè) 4×4 像素陣列，大小與 U 盤類似。陣列頂部涂覆了一層透明的有機(jī)吸光層，可將入射光轉(zhuǎn)化為電荷。當(dāng)光子照射到光敏層時(shí)，會(huì)產(chǎn)生電子和空穴。電子會(huì)轉(zhuǎn)移到下方的晶體管溝道中，該溝道由 IGZO 制成，空穴則構(gòu)成了器件存儲(chǔ)功能的基礎(chǔ)。

之所以選擇 IGZO 晶體管，是因?yàn)樗鼘?duì)可見光透明，這意味著該晶體管不會(huì)吸收光，并且電信號(hào)傳輸與光敏的功能得以分離。IGZO 材料適用于大面積制造，廣泛應(yīng)用于顯示技術(shù)領(lǐng)域，由于電荷在其內(nèi)部傳輸速度快，采用該材料制成的晶體管漏電流極低。這兩種材料的結(jié)合使得每個(gè)像素能夠在單個(gè)器件內(nèi)既能檢測(cè)光線，又能存儲(chǔ)最近一次光照的信息。

Larry Cheng 指出，由于光敏層中的能壘，空穴會(huì)被困在孤立的有機(jī)半導(dǎo)體聚集體中。即使光照關(guān)閉后，這些被困的空穴仍會(huì)繼續(xù)通過靜電作用調(diào)制晶體管溝道，進(jìn)而實(shí)現(xiàn)器件保留最近光照的信息。

電荷量會(huì)逐漸衰減，但研究人員可以通過對(duì)光敏層施加電壓來改變其持續(xù)時(shí)間。原因在于，正電壓會(huì)將捕獲的空穴推離晶體管溝道更遠(yuǎn)，從而降低其作用并加速其衰減，導(dǎo)致記憶快速遺忘；與此同時(shí)，負(fù)電壓會(huì)將空穴拉近晶體管溝道，減緩衰減過程。通過這種干預(yù)，器件可將記憶保持?jǐn)?shù)小時(shí)甚至更長(zhǎng)時(shí)間。

實(shí)驗(yàn)數(shù)據(jù)顯示，在 -0.5V 柵壓下光照后的電導(dǎo)可保持 5,000 秒以上，這種極性可控的切換在單一器件內(nèi)實(shí)現(xiàn)了增強(qiáng)、保持、抑制三種狀態(tài)的編程。

（來源：Advanced Functional Materials）

為驗(yàn)證新型器件的實(shí)際計(jì)算能力，研究團(tuán)隊(duì)將器件特性參數(shù)導(dǎo)入人工神經(jīng)網(wǎng)絡(luò)模型，對(duì)手寫數(shù)字?jǐn)?shù)據(jù)集 MNIST 進(jìn)行分類訓(xùn)練。結(jié)果顯示，該器件模擬的突觸權(quán)重更新線性度表現(xiàn)良好。在數(shù)百次訓(xùn)練周期后，無(wú)噪聲高分辨率條件下分類準(zhǔn)確率在 90% 以上，并對(duì)硬件中常見的參數(shù)波動(dòng)表現(xiàn)出良好的容錯(cuò)度。

目前，這項(xiàng)研究仍處于器件驗(yàn)證階段，需要看到的是，它距離完整替代現(xiàn)有 CMOS 成像系統(tǒng)還有一定距離。在未來的研究階段中，他們計(jì)劃將該技術(shù)擴(kuò)展到更大的像素陣列，并開發(fā)集成成像原型，進(jìn)一步探索和驗(yàn)證實(shí)時(shí)成像和傳感器端處理能力。

參考資料：

1.https://doi.org/10.1002/adfm.75942

2.https://spectrum.ieee.org/hybrid-phototransistor

3.https://news.oregonstate.edu/news/new-digital-memory-device-inspired-human-brain-may-improve-ai%E2%80%99s-energy-efficiency

排版：胡巍巍

注：封面/首圖由AI輔助生成