大模型正在“變小”？

Let's go!

文/程一章

來源/萬點研究

WAIC2026剛剛結束，廠商們的大模型好像變了味兒。

去年大會上，企業還是比拼模型參數、榜單跑分，今年大家的關注點不再是“模型有多大”，而是“模型能干什么、能不能賺錢”？甚至仔細分辨后驚覺：廠商們都在搞輕量化部署，玩縮小的mini版本了。這是什么緣故？

回想一下，你有多久沒在手機信號不好的電梯里，對著一個怎么叫都不應的語音助手干瞪眼了？或者，可能就在昨天，你開車進隧道，導航突然變啞巴。或者在飛機上想整理相冊，發現那個“一鍵消除路人”的功能，因為沒網而變成了灰色圖標。我們似乎已經習慣了，真正的智能，總要依賴那朵遠在天邊的“云”。

但現在，一場靜悄悄的革命正在發生。

那些曾經龐大到需要一整棟樓、耗費一個水電站發電量才能勉強運行的“超級大腦”——大語言模型、多模態大模型，正在被想盡辦法“塞”進手機、汽車、個人電腦，甚至工廠里一只不起眼的機械臂里。研發人員和工程師們正在想盡辦法，要讓智能脫離網線，脫離信號塔，在手心、在身邊，隨時隨地、毫無延遲地醒來。這好比把一個千億參數的“猛犸象”，裝進一個巴掌大的“冰箱”，還要保證它活著、能思考，狩獵干活比在野外還要精準利索。

這不是想象，這是一場正在上演的“科技大戲”。而驅動它的，不是某些個體的一意孤行，而是需求端的真實渴望凝聚成的產業共識。

云端的大腦，正在“下凡”

2022年底，ChatGPT橫空出世，用一首詩、一段代碼、一篇論文震驚世界。然后，所有人都記住了它背后那個駭人的事實：它需要一萬張英偉達頂級顯卡組成的算力集群，海量算力支撐著我們的對話。一直以來，這種模式運行得很好，直到現實世界給了技術人員三個響亮的耳光。

這三個耳光，一個比一個疼，一個比一個更接近真相。

第一個耳光，來自手機。

還記得2023年底到2024年初，手機圈的那場狂歡嗎？三星Galaxy S24系列的發布會，最出風頭的不再是攝像頭像素，而是那個名叫“即圈即搜”的AI功能。你在屏幕上隨意畫個圈，圈出一個博主背的包、一張圖片里的地標、一段文字里的知識點，手機馬上告訴你這是什么、在哪買、怎么去。全程無需跳轉瀏覽器，無需輸入文字。而在這些功能背后，是高通驍龍和聯發科天璣芯片在瘋狂宣傳可以本地運行的百億參數大模型。

本地運行大模型，有何特殊？對于我們普通人的意義在哪里？又是一次毫無看點的槽點營銷？

昨晚你拍的那段孩子第一次走路的視頻，剛截圖的股票賬戶和銀行流水，你和伴侶那些私密火熱聊天記錄，這些數據，是絕對不能、也絕對不該被上傳到任何一粒云端的字節。手機，幾乎已經成為我們最貼身的數字器官，也成了倒逼大模型“瘦身”最兇猛、最不妥協的一股力量。

然后是汽車。這個耳光，帶著呼嘯聲狂奔而來。

想象一個場景：你開著一輛搭載了最新智能座艙系統的電動車，時速120公里，飛馳在高速上。你隨口說了一句：“有點困了，給我來點提神的，但別對著臉吹風。”這句話包含了多少層意思？首先是識別出你“困”了，然后是“提神”，大概率還需要聯動空調、香氛、音樂。最后是“別對著臉”，這對空調出風口的精確分區控制、需要有著近乎對物理世界常識的理解。這一套組合拳，需要座艙系統在聊天似的對話中理解、并且精確執行，而不是生硬的給出“你好xx，打開空調、打開音樂...”。

從技術角度看，如果這句話要原封不動地上傳到云端，經過一個千億大模型思考，再生成指令傳回車內，來回的延遲可能超過0.5秒。在辦公室里，0.5秒只是彈指一揮間，但在時速120公里的車里，0.5秒，你或許已經開出近15米。當端到端AI大模型開始掌管自動駕駛的實時決策，每一毫秒都流淌著安全的份量，畢竟延遲和可靠性是物理定律，云端再強，也斗不過光速和基站信號。

車，必須是長輪子的、能獨立思考的移動智能體。在安全的考量下，如何更快、更聰明地思考與行動，它的“大腦”就得長在車子自己身上。

第三個耳光，來自工廠。

如果有機會去長三角、珠三角那些被戲稱為“黑燈工廠（無人工廠）”的地方看看，一定會顛覆你對傳統印象中制造業的所有認知。比如這個場景：高速攝像頭以每秒上百幀的速度掃過流水線上每一個電子元件，過去，這些海量數據要通過工業以太網匯聚到中央服務器分析，延遲不說，一旦網絡抖動或者服務器過載，整條產線就得停下來等，等那個“大腦”給出指令。一等，就是真金白銀的損失。

現在，邊緣計算模塊、各式內嵌了AI芯片的工控機里，一個輕量級的視覺檢測大模型正在直接運行。它不聯網，不依賴任何外部信號，只盯著眼前流水線上的產品，以人類無法企及的速度和精度，做出毫秒級的生死判決：合格、合格、合格……如有微米級劃痕，剔除！這就像給每臺機器都安上了一個獨立的、不會走神、不會抱怨的質檢老師傅的靈魂。工業智能的大腦，正在從中央機房，飛速下沉到每一根機械臂、每一個鉆頭、每一個傳感器里。

這三個耳光，分別從隱私安全、物理極限、和成本效率三個維度，打出了一個無比清晰的結論：真正的智能，不能只是飄在天上的云，它必須像血液里的氧氣一樣，流淌在每一個終端設備里，隨時待命。

這直接催生了一個聽起來蠻不講理的需求：工程師們能不能把那個在云端用成百上千張H100顯卡、耗費堪比一個小鎮電量的超級大模型，進行一場史無前例的“減肥手術”、做出一個縮小的mini版，然后優雅地、穩定地、強悍地，塞進一臺手機、一輛車，或是一個巴掌大的邊緣計算盒子里？

需求已經在砸門了。門內，一場讓大模型“瘦身”的全球競賽，就此鳴槍。

全球“瘦身”大賽：如何給大模型“抽脂”

瘦身，不能簡單地粗暴手術，那樣只會得到一個癱瘓在床的病人。模型玩家們在摸索中迅速達成了一個共識：我們要的不是一個瘦骨嶙峋、風一吹就倒的病秧子，我們要的是一個高度濃縮的、精力爆棚的、肌肉線條分明的“特種兵”。

對，我們需要一個被派去執行特定任務的專家。這就是方向。這場沒有硝煙的“大戲”，各路門派的打法截然不同。

先看美國西海岸，OpenAI和Google這對老冤家，路線各有千秋。

OpenAI的策略最直接、也最商業：縱向分級，按質論價。在云端，最強大AI大腦之一GPT-4鎮守高地。這個龐然大物負責探索智能的極限，去理解數學猜想、去寫十四行詩。但OpenAI很快發現，全球幾十億用戶，每天問得最多的問題，其實是“幫我起個炸雞店的名字”、“把這篇會議紀要總結成三點”、“這段報錯的代碼怎么改”......讓一個日理萬機、時薪昂貴的博導，去回答一年級小學生的加減法，這不僅是智力資源的浪費，更是商業模型的災難。

于是，GPT-4o mini來了。它在官宣時毫不避諱自己的定位：我們更有性價比，我們更輕更快。它的響應速度極快，而調用成本斷崖式下跌了超過60%。雖然博學程度和老大哥GPT-4沒法比，但在處理日常對話、文本摘要、客服問答、代碼輔助這類高頻、海量的任務上，效率高得驚人，讓你幾乎感覺不到差別。這就像你有一個諾貝爾獎得主的導師，還有一個聰明絕頂的博士生師兄，日常的困惑、作業難題，師兄三下五除二就給你講明白了，隨叫隨到；而導師，則留在每年幾次的關鍵答辯和戰略方向把控上發力。

這就是分層，這就是效率。

而Google走的則是“全尺寸覆蓋，軟硬一體”的路子，更有“理工男”的浪漫。他們的Gemini模型，從一開始發布，就清晰地劃分成了Ultra、Pro、Nano三個版本。野心呼之欲出，就是要像孫悟空的金箍棒一樣，能大能小。Ultra對標人類知識邊界，負責在各種學術榜單上屠榜；Pro是能干的“中產”，集成在Google Workspace全家桶里，幫你寫郵件、做PPT；而最讓競爭對手脊背發涼的，是那個最不起眼的Gemini Nano。

Gemini Nano被專門設計，甚至可以說是量身定制，用來在Android手機、平板等移動設備上原生運行的。Google的工程師們用了各種極致的蒸餾算法和量化技術，把“檢測詐騙短信”、“智能回復建議”、“離線語音轉錄”這些最核心、最高頻的AI能力，壓縮成了一個小小的、高效的離線引擎。結果就是，當你用著搭載了Tensor G3芯片的Pixel 8 Pro手機，即便身處飛行模式，它依然能精準地幫你過濾掉垃圾短信，并在你記錄語音備忘錄時，瞬間給出文字的智能摘要，所有的計算都發生在你手中的這塊芯片上，數據沒有任何一比特離開過你的設備。

但巨頭并非無懈可擊。

視線回到國內，這里的創新洶涌澎湃，甚至演化出了更多元、更接地氣的智慧。

說到把大模型做小并徹底開源，DeepSeek繞不過去。很多人不知道，這家公司的創始人，背景是量化交易。也許正是這種背景，讓他們的基因里就帶著對“效率”和“性價比”近乎偏執的貪婪追求。DeepSeek的策略更加極致，他們不僅發布對標GPT-4的頂級云端大模型，更是大力推出1.3B、6.7B這樣可愛到犯規的“微型”模型矩陣。

這些“小東西”，專攻代碼生成和數學推理。效果有多驚人呢？一個6.7B的代碼小模型，在解決特定的Python函數編寫、算法競賽題上，速度風馳電掣，效果能媲美比自己大幾十倍的模型。最關鍵的是，它們完全免費，開源，允許商用。這意味著，一個在北京回龍觀出租屋里的三人極客團隊，可以用自己攢的幾千塊錢的服務器，跑著一個水平堪比擁有三年經驗的算法工程師的AI同事，24小時不知疲倦地幫他們寫代碼、查bug。Deepseek直接把“AI平權”的宏大口號，變成了小團隊手里的生產力工具，這才是最可怕的力量。

如果說DeepSeek的哲學是“變小”，那么另一家當紅炸子雞Kimi，則重新定義了什么是“輕”。

事實上，Kimi楊植麟和他的團隊，從一開始就在追問：制約當前AI應用的根本矛盾是什么？他們的答案是“內存”，或者更準確地說是“工作記憶”。人類的思維是線性的、連續的，開一場兩小時的頭腦風暴會，最后五分鐘的總結發言需要調用前面每一句話的信息。這，就是長上下文的無價之處。

當初的AI，大部分是“金魚記憶”，對話一長就開始胡言亂語，忘記你最初給它定的“你是我的法律顧問”的角色設定。Kimi沒有急著跟風去發布一個7B的端側小模型，而是把所有技術力量像激光一樣聚焦在一點上：突破上下文的物理極限。

當其他模型還在炫耀自己能處理幾十頁PDF時，Kimi已經能一口氣把你丟進去的3小時錄音、100頁的財報、50篇論文全部吞下，然后精準地回答你：“根據上次董事會的決議，和本次最新的競品分析報告，我們的策略存在三點矛盾……”

這就是Kimi對“變輕”這件事的獨特哲學解答。

別人需要搭建一個“大模型+向量數據庫+檢索增強生成工具+多智能體”的復雜系統才能完成的“閱讀-理解-歸納”長文本任務，Kimi一個模型就全搞定了，這依然是“輕量化”，但輕的不是模型的體重，而是整個應用架構的復雜度和開發成本。這是在算法層面，用極致的深度，替代了系統層面堆疊的廣度，是四兩撥千斤的東方智慧，繞過了硬件限制的彎路。

而把這一切推向每一個具體消費者手中的，則是那些離硬件最近的玩家。

而面壁智能這樣的新銳力量則代表了另一種極致的浪漫——把“小”本身當成信仰。他們推出的“小鋼炮”系列端側模型，甚至在只有幾億參數的情況下，就在一些基礎的自然語言處理任務上展現了驚人的能力。它讓我們看到一種可能：未來我們身邊的AI，不需要個個都成為愛因斯坦。一個清楚知道所有衣服分類、能用最低磨損程序洗護真絲襯衫的洗衣機，一個能精準識別大米種類和新鮮度并自動調整火力的電飯煲，也許才是千家萬戶最需要的“哆啦A夢”。這就是專才的價值，這也是“變小”的真正市場縱深。

你看，無論是國外的分級分層、開源生態，還是國內的極致性價比、算法創新，全球的聰明大腦們，都在用自己的方式回答同一個問題：如何讓強大的智能，擺脫云端的束縛，成為真正隨身的、私人的、實時的、可觸摸的能力。而所有的流派最后都殊途同歸，歸結為三個核心點：讓頂尖天才當私教、在精度和效率的鋼絲上跳舞、以及為特定場景而生。

聊到這里，產業的畫卷似乎一片光明。但一個根本的、屬于每個思考者的疑慮，一直懸在我們頭頂，像一朵怎么吹也吹不散的烏云。

變小了，會變傻嗎？——解開那個核心的結

模型體量“縮水”了，它真的還能像以前一樣“聰明睿智”嗎？

這個擔憂太自然了，太符合直覺了，畢竟我們都信奉“大力出奇跡”。參數越多，神經元連接越密，模型越“淵博”和“聰明”，這幾乎是過去幾年AI發展的唯一鐵律。從幾億參數的GPT-1，到千億級別的GPT-3，再到據說突破萬億大關的GPT-4，智能的涌現，似乎是用算力的暴力堆砌出來的。現在你告訴我，要把一個千億參數的模型，裁剪掉99%的“脂肪”，壓縮成只有幾十分之一大小，還要讓它保持住那份讓人拍案叫絕的聰明勁兒？這違反能量守恒吧？

對于這個尖銳的問題，業界的回答坦白得讓人有些意外，但又邏輯嚴密得讓人心安：如果強行壓縮它百分之百會瘋，但如果我們從一開始就不是定位“博導”培養、而是精心喂養一個“專才”呢？

這就是思維模式最根本、最革命性的轉變，它顛覆了我們過去幾年對AI發展的認知。過去，我們造的是一個又一個的“通用天才”，但當這個天才要被部署到你手機相冊的“一鍵修圖”功能里時，他99.99%的知識，都成了昂貴的、占用內存的“廢物”。它唯一的工作，就是看著一張照片，在幾毫秒內做出精準判斷：哪些區域是廢片？哪個人的眼睛可以閉眼修復？背景里那個亂入的垃圾桶，能不能毫無痕跡地擦除？它不需要懂得《量子世界》，它不需要會寫離職信，它只需要成為全宇宙最懂你相冊管理需求的世界第一專家。

在這個極其明確、不容置疑的目標下，所有看似無解的技術難題，都找到了破解的鑰匙。

首先，知識蒸餾提供“一對一精英私教”，讓大模型老師，把自己在解決問題時腦海里的“思考概率”，那個充滿無數可能性的灰色地帶也全部教給學生。

舉個例子。你給云端的大模型老師看一張狗的照片。它的內心活動可能是這樣的：金毛犬的概率是85%，拉布拉多的概率是10%，因為這兩種狗的毛色和體型太接近了，還有5%的可能是某種我們還不認識的混血犬，因為它的耳朵形狀有點獨特。這個過程充滿了豐富的彈性和對世界復雜性的敬畏，這就是寶貴的“暗知識”或者叫“軟標簽”。我們把這種帶著溫度、帶著不確定性的思考過程，連同最終那個“這是金毛”的硬答案，一起教給“小模型”，小模型就學會了舉一反三，學會了在信息不足時做出最合理的推斷。

所以，“小模型”繼承的是老師的智慧，而不只是老師批改過的作業本。

其次，我們給“小模型”實行了人類歷史上最嚴格的“飲食管理”。它的參數體量，它的“腦容量”就這么大。業界現在的做法是，用現有的最強大模型，去專門合成一批最純凈、最高質量的“知識補品”。這批數據的因果鏈條清晰，邏輯推演嚴密，沒有模棱兩可，沒有胡說八道。在合同條款審查、醫學影像分析、代碼安全漏洞檢測這類關乎人命和財產的高精尖任務上，一個只吃“特供營養餐”長大的1B參數小模型，其表現的精準度和可靠性，可以輕松超越一個被整個互聯網的嘈雜信息重度污染過的千億大模型。

最后，還有一項堪稱“欺騙大腦”的工程魔術，叫做量化感知訓練。我們前面說了，大模型要跑在手機上，算力消耗必須暴降。這技術實現過程必然會帶來信息的損失，就像把一張高清無損的母帶壓制成MP3，音質肯定會糊。但工程師們想出了一個絕妙的反向思維——模型“畢業”之后，在它“上學”的每一天就明確告訴它這個殘酷的現實：“孩子，你以后要去一個信號有嚴重損失、設備很落后的基層連隊里工作，想辦法適應吧。”

于是，這個模型在長達數月的訓練過程中，會自己主動去學習如何在“精度損失”這個惡劣環境下，依然能保留最核心、最關鍵要害的信息。它會進化出一種內在的“降噪算法”，學會用更少的比特位，去表達最豐富的特征。這項技術，使得現在運行在手機芯片上那個只有4-bit精度的AI畫質增強模型，計算出的每一幀畫面依然清晰銳利、色彩動人。

所以，那個最讓我們揪心的結，終于可以解開了。

變小，不等于降智。它是以放棄“全知全能”為代價，換取在特定場景內的極致表現。一個只懂修復老照片的端側模型，無法討論康德哲學，但當它將你與已故親人唯一一張模糊合影瞬間變得清晰、立體時，它完成了作為一個“專才”的最高使命。、

結語：消失的技術，無處不在的智能

把大象裝進冰箱，我們做到了。靠的不是變魔術，而是一整套從理解需求、到重構技術、再到轉變的系統性工程。

回顧AI模型的來時路，你會發現，推動這場宏大變革的，從來不是實驗室里某個天才的靈光一現。驅動它的，是我們每個人心底最樸素、也最真實的需求。大模型拼命“變小”，它的野心，不是為了誕生一項可以被寫入教科書的新技術指標。恰恰相反，它努力的終點，是為了讓自己，完完全全地消失。消失在手機里，消失在汽車后視鏡里，消失在工廠流水線每一次無聲的快門里。最終，如鹽溶于水，潛入我們生活的角角落落。

真正偉大的技術，就是你感受不到它的存在，卻再也離不開它帶來的那種，不動聲色的妥帖。

這場關于“變小”的史詩級大戲，高潮遠未到來。而每日伴隨我們的手機、汽車，是距離這場科技風暴最近的前線。它，正在你我掌中，無聲地驚雷。

本文由萬點原創，如需轉載、商務合作

請私信或加V溝通：微信號zzdmw5728