DDR5太貴！Meta自研CXL芯片，舊DDR4內(nèi)存再戰(zhàn)新服務(wù)器

Vistara ASIC芯片基于三個RISC-V處理器內(nèi)核，用于安全啟動、設(shè)備初始化、固件管理和健康監(jiān)控。

由于供不應(yīng)求，DDR5內(nèi)存的價格近期屢創(chuàng)新高。為了節(jié)省成本，Meta公司正在從舊服務(wù)器中回收舊式DDR4內(nèi)存，并利用其自主研發(fā)的Vistara ASIC芯片將其安裝到新機器中。該芯片能夠?qū)⑴f內(nèi)存模塊連接到其最新服務(wù)器，這些服務(wù)器運行的是僅支持DDR5內(nèi)存的AMD EPYC“Turin”處理器。

有趣的是，Meta并非唯一一家開發(fā)此類解決方案的公司。韓國初創(chuàng)公司Panmnesia開發(fā)了一款現(xiàn)成的CXL控制器和交換機，使服務(wù)器能夠在不增加延遲的情況下連接更大的內(nèi)存池，這使得Panmnesia的解決方案區(qū)別于其他競爭的CXL產(chǎn)品。

定制ASIC芯片使DDR4內(nèi)存能夠與新型服務(wù)器兼容

Vistara 是 Meta 的首款定制 CXL 內(nèi)存擴展 ASIC，旨在將過時的 DDR4 內(nèi)存連接到現(xiàn)代服務(wù)器。該芯片通過 PCIe 5.0 x16 接口實現(xiàn)CXL 2.0 Type-3 內(nèi)存擴展，并將標準 DDR4 RDIMM 連接到主機處理器。每個 ASIC 支持兩個獨立的 72 位 DDR4 內(nèi)存通道，使用 64 GB DIMM 時最高可提供 256 GB 的容量。目前，Meta 使用從報廢服務(wù)器回收的 32 GB DDR4 內(nèi)存模塊，每個 ASIC 部署 128 GB 的容量。

Meta 在其 MemServer 平臺上部署了 Vistara 芯片，該平臺由兩塊 ASIC 芯片通過 PCIe 5.0 x8 連接線連接至一顆 158 核 AMD Turin 處理器組成。每臺服務(wù)器配備 768GB DDR5-6400 本地內(nèi)存和 256 GB CXL 連接的 DDR4-2400 內(nèi)存，從而將內(nèi)存容量擴展至 1 TB。軟件棧將 CXL 內(nèi)存透明地暴露為一個獨立的 NUMA 節(jié)點，使 Linux 能夠?qū)⒗湓L問頁面遷移到速度較慢的 DDR4 層（帶寬為 76 GB/s），并將頻繁訪問的數(shù)據(jù)保留在本地 DDR5 內(nèi)存（帶寬為 614 GB/s）中。

該ASIC芯片基于三個RISC-V處理器內(nèi)核，用于安全啟動、設(shè)備初始化、固件管理和健康監(jiān)控。Meta公司聲稱，他們優(yōu)化了CXL控制器和內(nèi)存流水線，從而降低了協(xié)議開銷，最大限度地減少了排隊延遲，并將空閑往返延遲降低到約50納秒。該芯片還集成了先進的可靠性功能，包括里德-所羅門雙符號糾錯和4倍芯片級保護。

不僅僅是Meta的Vistara

Meta并非唯一一家希望將舊式DDR4內(nèi)存連接到采用DDR5內(nèi)存的新型服務(wù)器上以節(jié)省成本的公司。雖然Vistara目前僅供Meta使用，但Panmnesia公司即將推出的新型CXL擴展器解決方案將面向其他公司開放。

Panmnesia首席執(zhí)行官鄭明洙表示：“人們一直認為，在CPU和設(shè)備之間添加交換機會難以滿足這些系統(tǒng)所需的內(nèi)存訪問延遲，因此，盡管直接連接的多頭設(shè)備（MHD）擴展性較差，但它們?nèi)匀皇侵髁鬟x擇。我們的研究表明，這并非CXL或CXL交換機的固有局限性，而是早期CXL技術(shù)的特性，隨著標準及其相關(guān)產(chǎn)品的成熟，這種特性會逐漸消失。借助搭載我們下一代CXL控制器的交換矩陣交換機，可擴展性、低延遲和穩(wěn)定的性能可以兼得?！?/p>

CXL 是一種基于 PCIe 物理接口的協(xié)議。因此，許多早期的 CXL 實現(xiàn)都是通過修改現(xiàn)有的 PCIe IP 構(gòu)建的，這也導致這些實現(xiàn)繼承了針對 PCIe 而非內(nèi)存語義通信優(yōu)化的架構(gòu)特性，從而顯著增加了延遲（Panmnesia 指出）。相比之下，其新的 CXL 控制器 IP 采用重新設(shè)計的數(shù)據(jù)路徑，用共享緩沖區(qū)取代了單獨的層級緩沖區(qū)，從而消除了大部分同步開銷。此外，它還在整個協(xié)議棧中進行了額外的延遲優(yōu)化，以抵消交換機引入的額外跳數(shù)。

配套的 CXL 交換矩陣引入了基于端口的路由 (PBR) 技術(shù)，突破了 PCIe 和早期 CXL 實現(xiàn)中使用的傳統(tǒng)分層路由 (HBR) 的樹狀拓撲結(jié)構(gòu)限制。該交換矩陣同時支持 PBR 和 HBR，從而實現(xiàn)靈活的系統(tǒng)拓撲、優(yōu)化的流量路由和穩(wěn)定的性能。在實際應(yīng)用中，這使得像 Meta 這樣的公司能夠在現(xiàn)代服務(wù)器中安裝更多 DDR4 內(nèi)存，而不會因高延遲而導致性能大幅下降。

Panmnesia 聲稱，雖然早期的 CXL 部署只能將少數(shù)計算節(jié)點連接到共享內(nèi)存池，但其架構(gòu)可擴展到多達 64 個節(jié)點，這意味著對于通常運行數(shù)千臺服務(wù)器的超大規(guī)模數(shù)據(jù)中心而言，其靈活性更大，但現(xiàn)在這些數(shù)據(jù)中心必須合理化使用昂貴的 DRAM。

Panmnesia公司表示，其下一代CXL技術(shù)正朝著商業(yè)化方向穩(wěn)步推進。該公司已推出用于PCIe 6.4/CXL 3.2融合交換機的預發(fā)布芯片，并完成了PCIe 7.0/CXL 4.0組合IP的開發(fā)，該IP支持CXL 4.0規(guī)范引入的最新特性。

*聲明：本文系原作者創(chuàng)作。文章內(nèi)容系其個人觀點，我方轉(zhuǎn)載僅為分享與討論，不代表我方贊成或認同，如有異議，請聯(lián)系后臺。