![]()
你知道嗎?對于一塊普通芯片來講,要想處理大腦皮層表面重建這樣一個復雜數學任務,至少也得花費幾十分鐘。由北京大學楊玉超教授團隊和中國科學院上海微系統與信息技術研究所宋志棠研究員團隊打造的新芯片,把這一時間壓到了零點幾秒。
這是一顆 40 納米制程的芯片,運行一次神經動力系統的單次迭代時間僅需要 2.12 毫秒,比此前已知最快的同類芯片快了幾十倍之多。
它的核心能力藏在一種名為相變存儲器的器件里,研究人員把這種存儲器做出了新花樣,一邊用它來存儲數據,一邊用它來調整計算的步長。研究中,他們利用這顆芯片進行了大腦皮層和灰質表面的 3D 重建,結果顯示誤差低于千分之一毫米,速度比此前最好的 GPU 快了將近五百倍之多。
對于神經動力系統來說,“神經”說的是它里面嵌入了神經網絡,可被用于學習數據里的規律。“動力系統”指的是一套數學方程,可被用來描述一個東西隨時間變化的規律。當這兩樣疊加在一起,就成為了一個既能學習又能演化的計算模型。
這樣的模型很適合用來重建 3D 物體的表面,因為物體的形狀是千變萬化的,使用傳統方法一幀接一幀地算,不僅慢而且還容易出錯。
![]()
(來源:《科學》)
神經動力系統則能夠把形狀變化當作是一個連續流動的過程,它先從一張粗糙的模板出發,然后讓模板慢慢地發生變形,直到能夠貼合上真實的物體表面。從數學角度來看這套方法非常嚴格,可以保證在變形的過程中,曲面不會自己穿破自己,這樣一來出來的結果永遠是光滑、完整且沒有破洞的 3D 網格,這一特性對于醫學影像、計算機圖形學和 AR/VR 等場景非常重要。
但是神經動力系統存在一個巨大的問題,計算起來太慢了。它需要反復地做數值積分,每一步都需要調整步長,步長太大就會導致結果不穩,步長太小則會導致算不完,這時控制器就要不停地試錯。
這個試錯的過程會涉及到大量的讀、寫、乘、加,傳統芯片在進行這些操作的時候要來回搬運數據,不僅費時而且費電。本次研究人員換了一種思路,他們利用相變存儲器來做步長的調整。
相變存儲器,是一種依靠熱量來改變自身電阻的材料,能夠通電加熱讓晶體狀態發生改變,這時電阻就會跟著變。研究人員發現這種電阻變化并不是死板的,它擁有一種叫作漂移的現象,也就是電阻會慢慢地自己走一點,以前學界覺得這是缺陷,但是本次研究人員覺得這可能是機會。
研究中,他們把電阻漂移加以控制,讓它按著預先設計的方向和速度前進。當步長要變大的時候就把電阻調整到某個值,當步長要變小的時候就調整到另一個值。在這個過程之中,完全不需要額外的計算電路,也不需要來回地搬運數據,當電阻自己走完這段路程,步長就能夠自動調好。
這個設計方案把步長搜索的硬件面積壓縮到了傳統方案的十分之一。在芯片上還有一片相變存儲陣列,它專門用來運行神經網絡,每一步要算的乘法和加法直接可以在存儲器里完成。數據不需要搬出去,電流一通結果就會出來。
在芯片上,相變存儲器陣列運行著神經網絡,同一片材料又負責步長漂移,這兩種功能是互不干擾的,配合得十分和諧。這樣一來,讓相變存儲器利用這種方式變成了計算的一部分,不再只是存數據的地方。
在傳統芯片的設計方案里,步長調整需要依靠一堆數字電路完成,計數器、比較器、乘法器和加法器這些東西堆在一起,不僅非常占地方,而且每次調整都要讀數據、算數據、寫數據,來回得折騰好幾輪。
相變存儲器的漂移效應則能把這幾步全給繞過去,電阻會自己發生變化,變化的速度和方向都是受控的,這就相當于直接在物理層面完成了步長的調節。
![]()
圖 | 從左到右:楊玉超、宋志棠(來源:資料圖)
據了解,為了達到上述控制精度,研究人員在材料和工藝上做了很多優化。他們在相變材料里摻了一些碳,碳的作用在于可以細化晶粒,能夠讓材料在反復相變之后仍能保持穩定的電學性能。
測試結果顯示,這顆芯片的寫擦次數能夠達到十的十次方,換算成為實際使用時間,能夠連續跑上好幾年都沒問題。當溫度從零度變化到七十度時,電阻分布只會發生整體移動,不同電阻檔位之間一直保持著清晰的間隔,完全不會混在一起。這一點的重要性在于,由于芯片在實際設備里會遇到各種各樣的溫度環境,比如手機發燙、冬天戶外和服務器機房里散熱不良等,所以每一種情況都必須保持穩定。
相變存儲器的另一個優點是能夠存多級電阻。對于普通存儲器來說,它們只能存 0 和 1 兩種狀態。而本次芯片能夠穩穩地存 16 種不同的電阻值,在陣列里排列成一個差分結構,每一個存儲單元能夠表達正負各八個等級。這就等于在同樣的面積里放進去了更多的權重信息,神經網絡運行起來也就更快。
為了讓器件達到上述密度和穩定度,研究人員在工藝上做了不少努力,摻了一些碳來對晶粒進行細化,從而讓材料在反復相變之后仍能保持穩定的性能,這讓芯片的寫擦次數可以達到十的十次方,連續工作壽命可以用上好幾年。當溫度從零度變化到七十度,電阻分布也只發生線性移動,沒有出現明顯的交疊或失控現象。
![]()
(來源:《科學》)
研究人員做了幾個測試來驗證芯片的性能。最硬核的一個測試是大腦皮層的 3D 重建,這項任務在醫學影像里非常耗時。采用傳統工具 FreeSurfer 運行一次要花兩三個小時,即便是 16 核的服務器也得兩個半小時才能跑完。而假如換上普通的 GPU,使用同樣的神經動力系統算法,最快也要花費將近兩秒才能算完一次。
本次新芯片只用了 426 毫秒,比 GPU 快了 50 倍之多,重建出來的大腦皮層的表面誤差非常小,灰質和白質的平均距離誤差分別僅有 0.245 和 0.376 毫米,既沒有破洞也沒有交叉,能被直接拿去 3D 打印做腦科手術的導航模型。
他們還使用這顆芯片做了更加復雜的 3D 流形網格生成,運行一次單次迭代只需要 2.12 毫秒,比此前已知最快的同類芯片快了 36 倍,功耗卻僅有后者的二十四分之一。進行一次完整的表面重建,這顆芯片消耗的能量大約是給手機充一次電的千分之一。那些以前得用服務器吭哧吭哧算半小時的活,這顆芯片只需眨幾次眼的工夫就能跑完,所使用的電量還少得幾乎可以忽略不計。
研究人員還設計了一個時間交錯機制,讓步長漂移的工作輪流在不同的存儲行上開展。這樣依賴,每一行的工作負擔都能均勻分布,整個陣列的壽命被大大延長。
對于單個相變存儲器來說,它的寫擦次數上限是十的十次方,通過這種輪流調度機制,讓整個芯片的實際使用壽命遠遠超出了單器件的極限。這種工程角度的考慮說明研究人員從一開始就在考慮如何把技術從實驗室推向真實環境,而不只是發表一篇論文。
和傳統的神經動力系統加速器相比,這顆芯片在面積上的優勢也十分顯著。在相同任務之下,采用傳統方案的時候,需要 0.7 平方毫米的乘法累加電路以及 0.26 平方毫米的權重緩存,加起來大約是一個平方毫米。
本次研究人員使用的相變存儲方案把權重直接存在存儲陣列里,乘法累加直接在陣列里面完成,步長調整也由漂移效應進行代勞,這讓整顆芯片的計算相關面積只有 0.28 平方毫米。面積小了之后,功耗也會跟著降,芯片的發熱減少了,散熱方案也很簡單,對于封裝和系統集成非常友好。
不過,這顆芯片目前還只是一個原型,但是它的意義已經超出了幾組漂亮的數字。在傳統計算機之中,存儲和計算是分開的,數據在兩者之間來回“搬家”,這個來回過程成了算力的主要瓶頸。本次研究人員使用的相變存儲器直接在存儲的位置做計算,“搬家”的路省了,“搬家”的電也省了。
此前,神經動力系統對于算力的要求一直很高,許多任務只可以在大型服務器上運行,現在使用一顆專用芯片就能拿下,速度還快了上百倍之多。在磁存儲時代來臨之前,很多研究人員說相變存儲器這種材料不好用,漂移不夠穩定、噪聲也比較大。
而本次研究人員繞過了這些缺陷,把缺陷變成了功能。讓漂移不再是噪聲,搖身一變成了步長搜索的引擎。讓電阻不再是固定的值,脫胎換骨成了可調的計算參數,讓存算一體得到了一次具體的驗證。
![]()
圖 | 論文第一作者蔡磊(來源:蔡磊)
大腦皮層重建的案例只是一個開頭,在物理世界之中需要做高保真表面建模的地方還有很多,比如冠脈血管的 3D 重建、無人駕駛的實時環境建模、文物數字化保護以及游戲里的動態角色形變,每一個場景都需要在極短的時間內算出光滑、完整、沒有錯誤的 3D 表面。
本次芯片展示了這種計算到底可以快到什么程度,也展示了存算一體這條路到底可以走多深。補充成果的論文發表在《科學》,這一成果的重要性之一就在于,相變存儲器用在數字計算機里折騰了許多年,但在消費市場始終沒火起來。而將其用在存算一體的模擬計算里,它的漂移和電阻多級性反而成了一種好用的工具。
本次論文的共同通訊作者還有北京大學朱毅鑫研究員和北京大學陶耀宇副研究員,第一作者是北京大學博士后蔡磊(現任職于北京化工大學講師)、中國科學院上海微系統與信息技術研究所解晨晨研究員以及北京大學博士后閆龍皞。
預計這款芯片的改進方向還有很多,比如陣列規模可以繼續擴大、外圍電路可以再優化、跟大模型的接口也可以做得更緊密,許多以前做不到的事情,未來會一個接一個地變成現實。
參考資料:
相關論文https://www.science.org/eprint/WEY75M4YUHGJVGTEX5YC/full?activationRedirect=/doi/full/10.1126/science.aee6277
http://shmmc.kjtj.cas.cn/zj/201505/t20150519_493975.html
https://www.ece.pku.edu.cn/info/1045/2542.htm
https://www.ai.pku.edu.cn/info/1137/2306.htm
https://www.ai.pku.edu.cn/info/1136/1864.htm
https://www.linkedin.com/in/%E6%99%A8%E6%99%A8-%E8%A7%A3-4221a5b4/
https://ic.pku.edu.cn/szdw/bsh/index.htm
https://www.linkedin.com/in/%E6%99%A8%E6%99%A8-%E8%A7%A3-4221a5b4/
排版:胡巍巍
注:封面/首圖由 AI 輔助生成
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.