傳統計算像“倉庫和工廠分開,貨物來回運輸”;存算一體像“在倉庫里直接加工”,特別適合 AI 這種數據量巨大、搬運頻繁的任務。但它也面臨精度、可靠性、工藝、軟件生態和量產成本等挑戰。
你可以把存算一體理解成:以前是“倉庫管倉庫、工廠管加工”,數據要從內存倉庫搬到計算工廠;存算一體則是把一部分加工能力搬進倉庫里,減少搬運,提高效率。
一、基礎概念
存算一體
把“存儲數據”和“計算數據”放得更近,減少數據來回搬運。存內計算 CIM
Computing-in-Memory,在存儲單元內部直接做計算,像在倉庫貨架上直接加工貨物。近存計算 PNM
Processing-near-Memory,把計算單元放在內存旁邊,像把加工車間建在倉庫門口。內存墻 Memory Wall
計算芯片很快,但數據搬運跟不上,像工廠機器很快,物流卡住了。數據搬運 Data Movement
數據在存儲和計算單元之間來回移動,耗電又耗時。馮·諾依曼架構
傳統計算機架構,存儲和計算分開,像倉庫和工廠分在兩地。非馮架構
打破存儲和計算分離,試圖讓數據少跑遠路。存儲器 Memory
存放數據的地方,像計算機的倉庫。計算單元 Compute Unit
做加減乘除、邏輯判斷的地方,像加工機器。帶寬 Bandwidth
單位時間能搬多少數據,像倉庫門有多寬。
功耗瓶頸
數據搬運太耗電,AI 計算中“搬數據”有時比“算數據”更費電。延遲瓶頸
數據來回搬運需要時間,像快遞路上耽誤。吞吐量
單位時間能處理多少數據,像工廠實際產量。能效 Energy Efficiency
每消耗一度電能完成多少計算,像汽車油耗。算力利用率
計算單元真正忙起來的比例,數據喂不夠就會閑著。數據密集型計算
數據量大、搬運頻繁的任務,比如 AI 推理、搜索、推薦。AI 推理
模型訓練好后回答問題、識別圖片、生成內容的過程。AI 訓練
讓模型從海量數據中學習規律,像學生刷題。邊緣 AI
AI 在手機、攝像頭、汽車等本地設備上運行,不完全依賴云端。低功耗 AI
在電力有限場景下運行 AI,比如智能攝像頭、耳機、傳感器。
PIM 存儲器內處理
Processing-in-Memory,在內存里加入處理能力,減少數據搬出。CIM 存內計算
更強調計算發生在存儲陣列內部。PNM 近存計算
計算不一定在存儲單元里,但離內存很近。Near-data Processing 近數據處理
在靠近數據的地方處理數據,而不是把數據搬遠。In-memory Computing 存內計算
常和 CIM 類似,強調數據在哪里,計算就在哪里做。Compute-near-Storage 近存儲計算
常用于 SSD、存儲服務器場景,把計算放到存儲設備附近。Smart Memory 智能內存
帶有一定計算能力的內存,像會自己整理貨物的倉庫。Smart SSD 智能固態硬盤
SSD 里加入計算能力,能在硬盤附近先處理數據。Memory-centric Computing 內存中心計算
以數據和內存為中心設計系統,而不是只圍繞 CPU/GPU。Data-centric Computing 數據中心計算
讓計算圍繞數據流動優化,目標是少搬數據、多就地處理。
SRAM
芯片內部很快但很貴的存儲,像手邊的小抽屜。DRAM
電腦和服務器常用內存,容量大但需要刷新,像辦公桌。HBM
高帶寬內存,常在 AI GPU 旁邊,像超寬高速倉庫。DDR
常見電腦內存類型,像主流倉庫通道。LPDDR
手機常用低功耗內存,像省電版倉庫。GDDR
顯卡常用顯存,適合圖形和部分 AI 任務。Flash 閃存
SSD、U 盤常用存儲,斷電后數據還在。NAND Flash
大容量存儲常用閃存,像長期倉庫。NOR Flash
常用于存程序代碼,讀取方便但容量通常較小。NVM 非易失性存儲
斷電不丟數據的存儲,像不會失憶的倉庫。
RRAM 阻變存儲器
用電阻變化存數據,也可用于模擬存算一體,像用水管粗細代表數字。ReRAM
RRAM 的另一種寫法,本質類似。PCM 相變存儲器
利用材料晶態和非晶態變化存數據,像冰和水之間切換狀態。MRAM 磁阻存儲器
用磁性狀態存數據,速度快、斷電不丟。STT-MRAM
MRAM 的一種,利用自旋轉移力矩寫入數據。FeRAM 鐵電存儲器
用材料電極化方向存儲信息,像小指南針朝向代表 0 或 1。FRAM
FeRAM 的另一種常見叫法。3D XPoint
曾被用于新型非易失性存儲探索,介于內存和存儲之間。Memristor 憶阻器
電阻能“記住”過去狀態的器件,常被用于類腦和存算研究。eNVM 嵌入式非易失性存儲
做在芯片里的非易失存儲,像芯片自帶小硬盤。
MAC 乘加運算
AI 里最常見的計算:乘一下再加起來,像給商品數量乘單價再匯總。矩陣乘法
AI 模型核心計算之一,像大表格之間批量計算。向量 Vector
一串數字,像一排貨物編號。矩陣 Matrix
二維數字表格,像 Excel 表。卷積 Convolution
圖像 AI 常用操作,像拿一個小窗口在圖片上滑動檢查特征。點積 Dot Product
兩串數字對應相乘再相加,是神經網絡常用基礎計算。并行計算
很多計算同時進行,像很多工人一起干活。模擬計算 Analog Computing
用連續物理量計算,比如電壓、電流,不完全靠 0 和 1。數字計算 Digital Computing
用 0 和 1 做精確計算,像算盤每顆珠子位置明確。混合信號計算
同時使用模擬和數字方式,像“粗算 + 精算”結合。
模擬存算一體 Analog CIM
用存儲單元的電阻、電流等物理特性直接做計算。電阻陣列 Resistive Array
由許多可調電阻組成的陣列,像一大片可調水管網絡。交叉陣列 Crossbar Array
橫線和豎線交叉形成計算陣列,像棋盤式路網。歐姆定律計算
利用電壓、電阻、電流關系完成乘法類計算。基爾霍夫定律計算
利用電流匯總規律完成加法類計算,像多條水流匯到一起。電導 Conductance
電流通過的容易程度,常用來表示權重。權重 Weight
AI 模型里的重要程度參數,像決策時每個因素的分數。模擬噪聲 Noise
模擬計算中的干擾,像收音機里的雜音。漂移 Drift
存儲器狀態隨時間慢慢變化,像刻度尺變形導致讀數不準。非理想性 Non-ideality
器件不可能完全理想,比如誤差、噪聲、老化等。
數字存算一體 Digital CIM
在存儲附近用數字電路做計算,精度更可控。SRAM-CIM
基于 SRAM 的存算一體,適合高速、低延遲場景。DRAM-PIM
在 DRAM 附近加入計算,適合大容量數據處理。Flash-CIM
基于閃存的存算一體,常用于低功耗 AI 推理探索。Bit-line 位線
存儲陣列中傳輸數據的線路,像貨架縱向通道。Word-line 字線
控制存儲單元開關的線路,像貨架橫向通道。Sense Amplifier 靈敏放大器
讀取微弱存儲信號的電路,像助聽器。ADC 模數轉換器
把模擬信號變成數字信號,像把水位高度讀成數字。DAC 數模轉換器
把數字信號變成模擬信號,像把數字命令變成電壓。Accumulation 累加
把很多計算結果加起來,像把各個小組成績匯總。
神經網絡 Neural Network
模仿大腦連接方式的 AI 模型,由很多層計算組成。深度學習 Deep Learning
多層神經網絡學習數據規律,像層層加工信息。CNN 卷積神經網絡
常用于圖像識別,適合用存算一體加速部分卷積計算。Transformer
大模型常用架構,涉及大量矩陣計算和數據搬運。Attention 注意力機制
模型判斷哪些信息更重要,像讀文章時劃重點。大模型 LLM
參數很多、能力強的語言模型,數據搬運壓力很大。Token
AI 處理文本的小單位,像字詞碎片。推理加速
讓模型回答問題更快、更省電。邊緣推理
在本地設備上完成 AI 推理,比如攝像頭識別行人。低比特模型
用更少位數表示模型參數,減少存儲和計算壓力。
INT8
8 位整數計算,常用于 AI 推理,速度快、功耗低。INT4
4 位整數計算,更省資源,但精度更容易受影響。Binary Neural Network 二值神經網絡
權重或激活值只有 0/1 或正負兩種,像極簡版模型。量化 Quantization
把高精度數字壓成低精度,像把高清照片壓縮成小圖。稀疏化 Sparsity
跳過很多無用或為零的計算,像只搬有貨的箱子。精度損失 Accuracy Loss
為了省電省算力,結果可能不如原模型準確。編譯器 Compiler
把軟件模型轉換成硬件能執行的指令,像翻譯施工圖紙。算法硬件協同
算法和芯片一起優化,像菜譜和廚房設備一起設計。工藝兼容性
存算一體器件能否用成熟半導體工藝量產,決定成本和落地難度。存算一體芯片
把存儲和計算深度結合的芯片,目標是更低功耗、更低延遲、更適合 AI 推理。
歡迎加入行業交流群,備注崗位+公司,請聯系老虎說芯(加V:tigerchip)
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.