卡帕西李飛飛辛頓都投的Transformer專用芯片，簽下10億美元大單

衡宇 發自 凹非寺
量子位 | 公眾號 QbitAI

一家只做Transformer專用芯片的創業公司成功流片，連帶官宣了一串大進展：

不僅籌集到了8億美元的資金，還喜滋滋獲得了10億美元的客戶大單。

卡帕西、李飛飛、辛頓，都是這家公司的投資人。

這家公司就是Etched。

它創立于2022年，在別的AI芯片公司強調兼容、通用、生態的時候，Etched從Day 1開始就一心一意撲在Transformer專用芯片上。

中間好長一段時間，Etched沒有太多公開動靜。

結果六月最后一天突然冒出來，一口氣宣布走出隱身狀態。

Transformer專用芯片流片了，錢融到了，客戶單子也大大的有。

公司官號還在上說，他們基于現有進展，已經造了第一批機柜，“早期客戶測試表明，我們在推理工作負載方面實現了最先進的吞吐量、延遲和能效”。

古人云一鳴驚人，大概如此。

作為資方爸爸之一的卡帕西老激動了：

Etched突然“詐尸”搞了波大的

在它家官推突然“詐尸”之前，Etched給人留下的些許印象，都來自于“這是一家只給Transformer做AI芯片的初創公司”。

結果冷不丁梆梆一頓宣布，現在做的已經不只是Transformer專用芯片了。

匯總目前的信息，他家從芯片、機柜、軟件到制造方法一起設計都在著手，搞的是一整套面向前沿模型推理的集群系統。

先說芯片和機柜。

官網信息顯示，今年早些時候，Etched的A0版芯片已從臺積電N4P工藝流片回片。

現在推出首款機柜產品，主要也是為了滿足10億美元大單的需求。

直言不諱表示第一批機柜計劃今年夏天出貨，那Etched的商業化節奏也不也就擺上桌面了？

至于軟件和制造方法層面——

按照官方說法，它的推理系統是為前沿模型準備的，覆蓋萬億參數級MoE、長上下文和Agent工作負載。

為了跑這些任務，Etched共同設計了新的芯片、封裝、PCB、冷板、互連等組件。

此外，Etched引入了低電壓推理（LVI）技術，適用于高吞吐量工作負載。

大家先嘗點前情提要。

現在的情況是AI芯片如果不進行熱節流，就無法擴展浮點運算能力。

而隨著浮點運算能力的提升，AI芯片會消耗更多電力并降低時鐘頻率。這通常會導致持續的推理吞吐量低于峰值浮點運算能力的一半。

針對這個問題，Etched設計了一種全新的架構，使芯片的數學模塊能夠在不到大多數AI芯片一半的電壓下運行。

這使得芯片的浮點運算密度比目前的AI芯片高出數倍。

官推稱，這套設計可以讓萬億參數級稀疏MoE在80%以上峰值FLOPs下運行，同時不出現熱降頻。

要做到這一點，需要從晶體管到token統籌設計，包括可拆分數學陣列、電路技術、tiling和調度算法、供電網絡、VRM架構、高級封裝和冷板設計。

與此同時，Etched還推出適用于低延遲工作負載的集群規模內存 （CSM）。

當前采用HBM的AI芯片受限于內存子系統和互連瓶頸，難以達到接近SRAM的解碼速度；而純SRAM架構的芯片雖然延遲更低，卻往往受限于浮點運算密度和內存容量，難以兼顧吞吐量。

通常咱都不得不在兩者之間做取舍：要么以更慢的速度提供服務，要么壓低批量規模運行，從而承受更高成本。

在運行巨型MoE模型時，token需要在不同專家之間路由、數據必須穿過多層內存體系和網絡交換網絡，才能到達目標專家。

每多一層內存，延遲就會增加一分；因此，從延遲角度看，最好的內存層級，某種意義上就是“少一層是一層”。

為此，Etched團隊設計了一種新架構，在整個scale-up域內構建共享的低延遲內存池。

他們采用了專有的超低延遲、高帶寬互連技術，大幅提升跨芯片內存訪問速度。

基于HBM/SRAM的混合設計，同時解決了容量和mem2mem延遲問題，讓高吞吐與強交互性得以兼得。

“CSM不僅改善了延遲表現，也避免了當前純SRAM 芯片、3D DRAM芯片或光互連方案在成本、可靠性、良率、散熱和算力上的種種取舍。”

這家公司有啥來頭？

公司還表示，現在團隊已有超過400名工程師，分別來自英偉達、谷歌TPU、博通、SK海力士、臺積電等公司。

說到團隊，我們來詳細講講創始三劍客。

這個團隊的標簽就是非常符合刻板印象里“硅谷范兒”的那種。

畢竟“哈佛輟學生創業團隊”是他們身上最醒目的標簽doge。

CEO叫Gavin Uberti（下文簡稱G哥），是“給Transfomer做專用AI芯片”的最早推動者。

本科時期他入學哈佛，一方面繼續學數學與計算機相關課程，另一方面開始接觸AI編譯器優化與系統層問題。

2020年到2022年前后，G哥分別在做端側AI和低功耗計算的初創公司（后被蘋果收購）、做高等教育學術運營管理軟件的公司以及做機器學習模型部署和推理基礎設施的公司實習過。

干過編譯器相關的活，也干過算法和后端。

2022年，Etched有了雛形。

在研究Transformer推理過程中，G哥逐漸有了自己的判斷：推理瓶頸其實是底層計算架構不適配transformer workload。

所以他的思路就從“優化模型”轉向“重構計算系統”。

G哥后來對外頻頻回憶，“正是對Transformer未來走向的判斷，推動他和團隊押注做專用芯片”。

另外兩位聯合創始人Chris Zhu和Robert Wachen同樣是哈佛校友（輟學版）。

想創業的G哥，轉身就拉上了和自己在校園合作過的Chris一起退學，媒體大多對這個人的評價是“更偏工程實現與系統落地”。

然后2023年，倆人已經明確可能要走向芯片路線之后，拿到了約550萬美元的種子輪投資，然后一鼓作氣拉了Wachen入伙。

Wachen的背景是計算機相關方向，在學校階段，他重點關注計算機系統基礎、軟件與硬件之間的抽象關系理解、工程實現思維三個方向。

創業第二年，兄弟三個一起入選了2024屆Thiel Fellowship。

Thiel Fellowship是個由彼得·蒂爾（Peter Thiel）創辦的獎學金/創業扶持項目，它面向22歲以下的年輕人，鼓勵他們暫停或放棄大學，直接去創業、做研究或做項目。

要不說人家是Etched創業核心三劍客呢，一般創始團隊所有成員同時入選同一屆Thiel Fellowship的概率還挺小的。

00后、哈佛、哈佛輟學創業、AI、Transformer專用芯片……這么一聽，有沒有感覺這團隊身上的硅谷范兒的標簽烙得更深了……

公開融資記錄顯示，Etched在2023年完成了種子輪，金額約536萬到540萬美元區間。

2024年6月，Etched對外宣布完成1.2億美元A輪融資，并同步推出首款芯片，強調它是首款專為Transformer模型設計的ASIC，主打高吞吐推理。

當時給出的說法是：

一臺8芯片服務器在Llama 70B場景下，可以達到遠高于8卡H100的token吞吐。

但那個時候都只是紙上談兵嘛，直到今天才宣布流片成功。

同年10月，他們又和Decart合作，公開發布了稱為“the first playable AI-generated game”的Oasis項目，這是一個“可以用鍵盤操控、但整個世界由模型逐幀生成”的交互式生成系統。

合作中，Decart負責世界模型本身的訓練、架構設計以及“用Transformer做實時視頻生成”的核心算法。

Etched負責推理側和系統優化，重點在如何讓擴散Transformer在H100級別GPU上跑到接近實時的幀率，并且把這種能力進一步映射到他們未來的專用芯片上。

這應該算Etched最會講故事的一次產品演示。

后來，Etched就有點默默潛伏的意思，只在去年年末、今年年初之際，曝出新一輪又融到了5億美元、投后估值50億美元。

既然官方已經宣布第一批機柜今年夏天就會對外發售，到這一步，故事已經很難只靠“天才休學生創業”來撐了。

客戶機房、真實負載、穩定運行和真金白銀的驗收，是Etched接下來要打的硬仗。

[1]https://x.com/Etched/status/2071972062202343590?s=20
[2]https://x.com/patrick_oshag/status/2071972025896489452?s=20
[3]https://x.com/karpathy/status/2072061140943921550?s=20