Cerebras Systems向Nvidia發起挑戰，推出“最快”AI推理服務

在人工智能（AI）計算領域，Cerebras Systems Inc.這家雄心勃勃的初創公司向Nvidia Corp.發起了挑戰，推出了它自稱的“世界最快”AI推理服務，并且這項服務現在已經在云端提供。

AI推理指的是將實時數據通過訓練有素的AI模型運行，以進行預測或解決任務的過程。推理服務是AI行業的主力軍，根據Cerebras的說法，它也是增長最快的部分，目前約占云中所有AI工作負載的40%。

然而，現有的AI推理服務似乎并不能完全滿足每個客戶的需求?！拔覀兛吹礁鞣N各樣的興趣，關于如何更快、更省錢地完成推理，”首席執行官Andrew Feldman在本周的一次記者會上說。

該公司打算通過其新的“高速推理”服務來實現這一目標。它認為這次發布是AI行業的一個分水嶺時刻，聲稱它能夠提供的每秒1000個token的速度，堪比寬帶互聯網的引入，為AI應用帶來了改變游戲規則的新機會。

● 原始力量

Cerebras完全有能力提供這樣的服務。該公司是AI和高性能計算（HPC）工作負載的專業和強大計算機芯片的生產商。在過去一年里，它多次成為頭條新聞，聲稱其芯片不僅比Nvidia的圖形處理單元（GPU）更強大，而且更具成本效益。“這是GPU無法實現的性能”，聯合創始人兼首席技術官Sean Lie宣稱。

其旗艦產品是新的WSE-3處理器（如圖），該處理器于3月宣布，并建立在其2021年首次亮相的早期WSE-2芯片之上。它采用先進的5納米工藝制造，擁有比前代芯片多1.4萬億個晶體管，擁有超過90萬個計算核心和44GB的板載靜態隨機存取存儲器。據這家初創公司稱，WSE-3擁有比單個Nvidia H100圖形處理單元多52倍的核心。

該芯片作為數據中心設備的一部分提供，稱為CS-3，其大小與小型冰箱相似。芯片本身的大小與比薩餅相似，并配有集成的冷卻和電源模塊。在性能方面，據說Cerebras WSE-3是WSE-2的兩倍，能夠達到每秒125 petaflops的峰值速度，1 petaflop等于每秒1000萬億次計算。

Cerebras CS-3系統是新Cerebras推理服務的動力源，它特別具有比Nvidia H100 GPU大7000倍的內存，以解決生成AI的一個基本技術挑戰：對更多內存帶寬的需求。

● 低成本下的驚人速度

它以風格解決了這一挑戰。Cerebras推理服務據說非常快速，比使用Nvidia最強大的GPU的類似基于云的推理服務快20倍。根據Cerebras的說法，它為開源的Llama 3.1 8B模型每秒提供1800個token，為Llama 3.1 70B每秒提供450個token。

它的價格也很有競爭力，這家初創公司表示，該服務的起價僅為每個百萬token 10美分——相當于AI推理工作負載的價格性能提高了100倍。

該公司補充說，Cerebras推理服務特別適合“代理AI”工作負載，或者可以代表用戶執行任務的AI代理，因為這些應用程序需要不斷提示其底層模型。

獨立AI模型分析公司Artificial Analysis Inc.的聯合創始人兼首席執行官Micah Hill-Smith表示，他的團隊已經驗證了在Cerebras推理上運行的Llama 3.1 8B和70B實現了與Meta官方版本一致的“質量評估結果”。

“憑借推動性能前沿的速度和有競爭力的定價，Cerebras推理對于具有實時或高容量需求的AI應用程序的開發者特別有吸引力”，他說。

● 分層訪問

客戶可以選擇三個可用層級中的任何一個來訪問Cerebras推理服務，包括一個免費提供，為任何想要嘗試平臺的人提供基于應用程序編程接口的訪問和慷慨的使用限制。

開發人員層適用于靈活的無服務器部署。它通過公司表示價格僅為今天可用的替代服務一小部分的API端點進行訪問。例如，Llama 3.1 8B的價格僅為每個百萬token 10美分，而Llama 3.1 70B的價格為60美分。該公司表示，將支持更多模型。

還有一個企業層，提供微調模型和定制的服務級別協議以及專用支持。這是為了持續的工作負載，并且可以通過Cerebras管理的私有云訪問，或者在本地實施。Cerebras沒有透露這個特定層的成本，但表示可以根據要求提供定價。

Cerebras聲稱擁有令人印象深刻的早期訪問客戶名單，包括GlaxoSmithKline Plc等組織，AI搜索引擎初創公司Perplexity AI Inc.和網絡分析軟件提供商Meter Inc.。

DeepLearning AI Inc.的創始人Andrew Ng是另一位早期采用者，他解釋說，他的公司開發了多個需要反復提示大型語言模型以獲得結果的代理AI工作流程?！癈erebras構建了一個令人印象深刻的快速推理能力，這對于這類工作負載將非常有幫助”，他說。

Cerebras的雄心不止于此。Feldman表示，該公司正在與多個超大規模云服務提供商接洽，希望在他們的云服務上提供其能力?！拔覀兿Ｍ麄兂蔀榭蛻簟保f，以及像CoreWeave Inc.和Lambda Inc.這樣的AI專業提供商。

除了推理服務外，Cerebras還宣布了多項戰略合作，為其客戶提供訪問所有加速AI開發所需的專業工具。其合作伙伴包括LangChain、LlamaIndex、Docker Inc.、Weights & Biases Inc.和AgentOps Inc.等。

Cerebras表示，其推理API與OpenAI的Chat Completions API完全兼容，這意味著現有應用程序只需幾行代碼就可以遷移到其平臺上。

Cerebras Systems的這一舉措不僅是對Nvidia的直接挑戰，也是對整個AI推理服務市場的一次推動。通過提供前所未有的速度和具有競爭力的價格，Cerebras正在重新定義AI推理服務的標準,也有望成為推動這一領域創新的關鍵力量。