![]()
新智元報道
![]()
【新智元導讀】谷歌公布最新Gemma 4技術報道!Gemma 4用實際行動證明:端側大模型不再是云端的廉價替代品,而是擁有原生多模態理解和深度思考能力的獨立智能體。
Gemma 4技術報告發布!
你是否也曾算過這樣一筆賬?
在開發一款真正實時的多模態應用時,你不得不把音視頻流打包,跨越數千公里送往云端。
每一次極小的調用,都在悄無聲息地消耗API余額。一旦網絡抖動、帶寬受限,或是隱私合規的鐵拳落下,你苦心搭建的用戶體驗就會瞬間崩盤。
我們曾被反復告知:端側大模型只是云端巨人的「像素縮水版」。它們只能處理干癟的文本。至于真正的深度推理、多模態理解,那永遠是幾十萬張A100堆砌出的云端神殿的專屬特權。
7月初,Google DeepMind發布Gemma 4,全系Apache 2.0徹底開源。
![]()
傳送門:https://arxiv.org/abs/2607.02770
這是一次近乎學術叛逆的底層重構——他們直接干掉了多模態模型里最沉重、最不可或缺的視覺與音頻編碼器,把媲美頂級云端AI的「思考心流」塞進了筆記本、甚至手機都能離線跑通的輕量身軀里。
![]()
殺死那個「中間翻譯官」:為什么一個12B模型成了異類?
想象一下你正在給一個AI裝上「眼睛」和「耳朵」。
傳統做法是:先給它掛一個幾億參數的視覺編碼器(比如CLIP),再掛一個音頻編碼器(比如Whisper)。這兩個重型翻譯官把像素和波形翻譯成向量,再粗暴塞進LLM。
這個「膠水架構」在算力匱乏的年代是權宜之計,卻留下了致命傷——內存被強行撕裂、無法端到端協同優化、顯存開銷巨大。
Gemma 4 12B做了件在過去看起來近乎瘋狂的事:它直接把這兩個翻譯官砍掉了。
它只保留了一個極簡的35M參數投影層,把原始圖像的像素塊和原始音頻40毫秒的波形塊,直接投影進LLM自身的統一嵌入空間。
沒有中間人,沒有信息損耗,只有單一的Unified Transformer在同時「看」「聽」「想」。
![]()
這聽起來簡單,實則難度極高。過去直接灌入原始波形和像素,極易導致模型文本能力嚴重退化。可DeepMind通過驚人的聯合預訓練,完成了這三者的深度融合。
![]()
結果是,一臺普通消費級顯卡、甚至16GB VRAM的MacBook,就能本地實時跑通原生音畫文三位一體交互。
你不再需要為三個模型在內存里搶地盤,整張卡,只有一個大腦在同時處理一切。
真正具有開創性的智能,從來不該依賴翻譯官。
當一個模型能夠用同一顆大腦直視像素、直接聆聽聲音時,多模態才算真正告別了童年。
把「心流」塞進口袋:在2.3B微型骨架里塞進深度思考
如果說無編碼器解放了端側的「感官」,那么Thinking Mode則徹底重塑了它的「智商上限」。
過去一年,從OpenAI o1到DeepSeek R1,「慢思考」一直是云端巨頭的最后護城河。模型要在回答前進行成百上千次的自我審視、調試與推理,這需要極高的云端吞吐和真金白銀的Token消耗。
Gemma 4的革命性在于:它把這套機制原生下放到了包含2.3B(E2B)和4.5B(E4B)在內的所有邊緣尺寸模型中。
![]()
通過一個簡單的<|think|>控制Token,你就能在本地觸發高密度推理軌跡。
更震撼的是數據。
在DeepMind技術報告中,Gemma 4 31B Thinking與前代Gemma 3 27B IT在無任何外部工具輔助下的對比,呈現出近乎非線性的爆發:
![]()
在復雜數學、前沿科學、以及真實Agent工具調用上,Gemma 4實現了對前代更大模型的降維打擊。這已經不是「追趕」,而是在很多高難度任務上開始正面挑落比自己大數倍的閉源巨獸。
![]()
DeepMind還同步推出了多Token預測草稿模型和量化感知訓練,讓這種本地深度思考不僅質量高,而且等待時間大幅縮短。
![]()
當「思考」不再是云端API的昂貴恩賜,而變成邊緣設備上可以隨時呼吸的空氣,整個行業拼的就再也不是體型,而是單位參數的認知密度。
算力經濟學的焦土戰爭:150M字節的開源,正在敲響云端溢價的喪鐘
發布后最關鍵的決定,是Google把Gemma 4全系放在Apache 2.0協議下徹底開源。
在科技商業史上,當一個巨頭把核心能力以最寬容姿態開源時,通常意味著它正在發起一場焦土戰爭。
過去云端巨頭的暴利模式是:把最好的模型鎖在API后面,開發者想要高階邏輯、實時音頻、多模態理解,就必須按Token付費。
Gemma 4正在把這套模式直接打穿。
![]()
端側部署帶來的改變是結構性的:
數據主權:敏感信息100%不出本地,合規風險歸零;
延遲歸零:近乎實時的本地交互,再無網絡抖動;
成本歸零:一次購買硬件,后續邊際成本接近為零;
硬件門檻崩塌:普通筆記本、Jetson Nano、甚至樹莓派5,都能成為原生AI服務器。
當開發者發現:自己的手機里已經駐留著一個能實時聽懂環境音、看懂代碼、還能在毫秒級做出深度思考的模型時,他們還有什么理由繼續向云端繳納智商稅?
寫在最后:智能在沉默中運行
如果說AI時代的前半場是關于「規模」的宏大敘事,那么Gemma 4吹響的,是后半場「結構與主權」的革命號角。
真正的技術普惠,從來不是讓數十億人共享一個龐大、遙遠且昂貴的中樞神經網絡,而是讓每個人、每個設備都擁有屬于自己的智能。
它應當像一張離線的地圖、一冊無需聯網的百科全書,在世界的任何角落,靜默而忠誠地伴隨你左右。
在不久的將來,人類最深邃的思想和洞察,也許不再需要跨越冰冷漫長的海底光纜,去往大洋彼岸的巨型服務器集群里轉上一圈。
當智能真正可以離線、可以私有、可以塞進口袋時,我們或許需要重新回答那個最根本的問題:
什么是真正屬于人類的智能?而什么,又是真正屬于每個人的智能?
參考資料:
https://x.com/osanseviero/status/2074436670770868249?s=20https://arxiv.org/abs/2607.02770https://arxiv.org/pdf/2607.02770
編輯:大衛
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.