最近刷到李想在羅永浩《十字路口》里的一段訪談(嗯,視頻號更新了推薦機制,可以刷到更老的視頻了),挺有意思。
![]()
他提到英偉達早年也曾瀕臨絕境,靠著孤注一擲的深耕才逆風翻盤。如今他甘愿放下數十億穩定收益,all in AI賽道的下一個風口推理芯片,更是直白表態未來屬于推理時代,推理芯片將構筑行業最終壁壘。
無獨有偶,前段時間周鴻祎也把話題聚焦到了推理芯片上。他直言,比起擠破頭卷訓練算力,能讓AI真正落地賺錢的推理算力,才是未來十年的主戰場。OpenAI聯手AMD造推理芯片,也印證了這一趨勢。周鴻祎認為,推理算力的需求會呈指數級增長,而且專用推理芯片能耗低、效率高,技術門檻比訓練芯片更低,對中國來說,這正是實現差異化突圍的重要機會。
在前不久的一場活動上,AI教父黃仁勛也判斷,AI產業已全面轉向推理時代,推理算力需求2025年占比已超65%,2028年推理芯片市場規模將達訓練芯片的3倍。
大家發現了沒有,今年以來,這些論述都快成為行業共識了。
越來越多有識之士意識到,訓練芯片我們卷不過國外領先企業,所以對中國企業來說,推理賽道可能是我們彎道超車的最佳切入點,現在立刻馬上可以突圍。
當然,訓練賽道當然也是我們必須攻克的核心陣地,只是慢慢來沒有那么著急。
01
訓練與推理
兩個世界的活兒
很多人把訓練和推理混為一談,覺得能做訓練芯片的企業,推理一定也強,或者覺得兩者是一回事,只是不同階段的活兒。其實根本不是。訓練和推理,是AI芯片行業兩條完全不同的賽道,玩法不一樣,門檻不一樣,機會也不一樣。
李想和周鴻祎之所以都看好推理芯片,核心就是他們看清了兩者的本質區別。簡單說訓練是教AI學本事,推理是讓AI用本事干活。這就像老師教學生和學生考試,雖然都和知識有關,但要求完全不同。
訓練芯片是AI的老師,負責把海量數據喂給模型,反復調整參數,讓模型學會識別圖片理解語言生成內容。這個過程需要極大的算力,就像讓一個學生做幾百萬道題來掌握一個知識點。
訓練芯片追求的是絕對性能,精度要高,算力要足,能處理海量數據,還得能長時間穩定工作。它就像航空母艦,威力巨大但造價高昂,每次出動都得耗費大量資源。
英偉達H100、華為昇騰910B都是這類航空母艦,單卡功耗能到400W,配幾十GB甚至上百GB的高速顯存,專門用來攻克大模型訓練這樣的硬骨頭。
而推理芯片是AI的打工人,用訓練好的模型處理實際任務。它不需要調整模型參數,只要把輸入數據快速準確地轉換成輸出結果就行。推理芯片追求的是效率,單位能耗算力要高,延遲要低,成本要可控。它就像護衛艦,靈活高效性價比高,適合處理日常高頻任務。
像我們熟悉的阿里平頭哥800、百度昆侖K100、寒武紀思元370,以及車載的地平線征程5、小鵬圖靈、蔚來神璣、比亞迪璇璣A3等,都是推理芯片,功耗從幾瓦到幾十瓦不等,能快速處理基于場景需求的各種活兒。
生活里的例子一抓一大把。你用手機拍照,AI自動美顏虛化背景,這是手機NPU在做推理;你刷短視頻,系統給你推薦內容,這是云端推理芯片在工作;你用語音助手查天氣,這是端側推理芯片在響應。而這些功能背后的模型,都是用訓練芯片在數據中心里花了幾天甚至幾周時間訓練出來的。
再比如自動駕駛汽車,它在路上實時識別行人車輛交通標志,是車載推理芯片在工作。同樣,它的算法模型,是用大規模訓練集群反復訓練優化出來的。還有最近流行的端側大模型,手機上就能跑AI對話,這也是推理芯片的功勞,把訓練好的模型壓縮后在手機上高效運行。
經過對比,可以看得出來,兩者的核心差異體現在多個方面。功耗上訓練芯片是幾百瓦的電老虎,推理芯片從毫瓦級到幾十瓦不等,手機里的NPU甚至只有零點幾瓦。算力上訓練芯片看TFLOPS,推理芯片看TOPS,前者追求高精度計算,后者更看重整數運算效率。用途上訓練芯片集中在數據中心,推理芯片遍布云端邊緣和終端。
02
推理賽道
中國芯片的黃金機會
為什么說推理賽道是中國芯片行業的新機會?李想押注推理,周鴻祎也力挺推理,正是看中了這里的市場空間和錯位競爭優勢。這里市場更大門檻更合適生態更容易構建,正好契合我們的產業優勢。
首先看市場規模。有數據顯示推理市場占AI算力總需求的70%以上,而且還在快速增長。訓練是一次性的大投入,一個大模型訓練幾次就完成了;推理是持續性的消耗,一個模型每天要響應上億次請求。
就像拍電影和放映電影,拍電影只需要一次大投入,放映電影卻是持續不斷的生意。隨著AI應用普及,推理需求會像潮水一樣涌來,這給了國產芯片足夠的成長空間。
其次看技術門檻。訓練芯片要解決的是極致性能和大規模集群協同問題,這需要長期的技術積累和生態構建。英偉達CUDA生態用了十幾年才形成,不是一朝一夕能撼動的。而推理芯片更看重場景適配和軟硬件協同優化,這正是中國企業的強項。
我們有龐大的應用市場,能快速反饋需求迭代產品。比如華為昇騰310針對安防監控優化,寒武紀思元芯片適配互聯網場景,這些都是貼近市場的成功案例。
再看成本優勢。推理芯片對性價比要求更高,客戶更愿意接受國產替代。英偉達A10G推理卡價格不菲,而國產芯片能把成本控制在其一半甚至更低,同時保持80%以上的性能。
字節跳動2026年從華為采購400億芯片訂單,AI資本開支超過2000億,其中推理開支超過訓練開支。這種商業選擇不是靠政策驅動,而是市場的自然選擇。
還有生態構建的機會。推理芯片更依賴軟件優化和場景適配,這為國產軟件廠商提供了舞臺。華為CANN架構、寒武紀Neuware軟件棧都在快速迭代,已經能兼容主流AI框架。更重要的是推理芯片的碎片化需求,不同場景需要不同的優化方案,這給了中小企業生存空間。比如專注自動駕駛的地平線,都在各自領域做出了特色產品。
政策和資本也在加碼。國家大基金三期明確將AI芯片作為重點投向,創業投資引導基金撬動萬億社會資本聚焦集成電路領域。工信部等八部門出臺的人工智能+制造專項行動,對端側推理芯片有明確支持。這些政策不是簡單的補貼,而是引導資源流向真正有技術有市場的企業,幫助他們構建完整的產業鏈。
前文我們提到過蔚小理的芯片,也無一例外,都是推理芯片。
對中國企業來說推理賽道的機會還在于應用落地。我們有全球最大的互聯網市場最多的智能手機用戶最豐富的工業場景,這些都是推理芯片的用武之地。從短視頻推薦到智能駕駛,從工業質檢到智慧醫療,每個場景都需要定制化的推理解決方案。國產芯片企業可以和應用廠商深度合作,共同定義產品優化性能,形成良性循環。
03
訓練與推理協同
構建完整算力生態
只做推理不做訓練不行,只做訓練不做推理也不行。真正的競爭力來自訓練與推理的協同,構建完整的算力生態。
我們今天說了半天推理芯片的特征,并不是說訓練芯片不重要,恰恰相反,訓練是AI的源頭,沒有強大的訓練芯片就沒有先進的AI模型。
英偉達之所以能壟斷高端AI市場,就是因為它在訓練芯片上的絕對優勢。
華為昇騰910B打破壟斷的意義就在這里,它讓我們有了自主訓練大模型的能力,不用再看別人臉色。昇騰910B FP16算力達到320-376 TFLOPS,訓練效率能達到A100的80%,部分場景甚至超過A100,成本卻只有其1/3。這種突破不是單點技術的勝利,而是整個產業鏈的進步。
關于這個論述,我們之前在《走訪中國電信京津冀智算中心:國產算力崛起,拒絕國外芯片“卡脖子”》一文中,有過闡述。
芯片不能單打獨斗,一個完整的AI算力生態需要訓練芯片負責創新突破,推理芯片負責規模化應用,兩者相互配合。就像航空母艦需要護衛艦護航,訓練芯片也需要推理芯片把它的成果轉化為實際價值。英偉達的成功不僅在于H100的強大,還在于它有從訓練到推理的全系列產品,能提供端到端的解決方案。國產芯片要想真正崛起,也必須走這條路。
目前,推理和訓練的關系,既分化又融合。
這似乎很矛盾,該怎么理解呢?
分化的趨勢在于,訓練芯片會越來越專注于極致性能,采用更先進的封裝技術比如3D堆疊,集成更多的計算單元和高速內存。英偉達下一代Rubin芯片將采用臺積電N3P工藝和SoIC三維堆疊封裝,算力會比Blackwell提升3-5倍。國產芯片如昇騰910C也在規劃中,預計2026年下半年量產,性能目標是追平H100。
而融合的趨勢也在顯現。隨著技術進步,訓練和推理的邊界會越來越模糊。一些高端推理芯片開始支持部分訓練功能,而訓練芯片也在優化推理性能。比如英偉達H200既可以用于訓練也能高效處理推理任務,華為昇騰910B也能勝任高吞吐推理。這種融合不是替代,而是互補,讓芯片的適用場景更廣泛。
對中國企業來說這兩種趨勢都是機會,分化讓我們可以專注某個細分領域做精做透,融合則讓我們有機會打造差異化產品。不管是做訓練芯片還是推理芯片,關鍵是找到自己的優勢領域,構建核心競爭力。比如專注端側推理的企業可以深耕手機IoT等消費電子市場,做訓練芯片的企業則可以聚焦政務金融能源等關鍵行業,做一些更基礎的工作。
還要注意一個重要趨勢,那就是軟硬件協同越來越重要。芯片性能的提升不再只靠工藝進步,更靠軟件優化以及生態構建。華為最近提出的韜定律火爆全球,就是這個道理。
寫在最后:總之,訓練和推理不是誰比誰更重要的問題,而是缺一不可的關系。二者基于我國的國情,有先后緩急的戰略安排,最終實現既要又要還要--訓練強,推理也強,生態更強,完成國產科技自主可控體系完整閉環。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.