北京
“蘋果和其他公司正在測試這些模型的速度、功耗和性能表現。”PrismML首席執行官巴巴克·哈西比在接受CNBC采訪時確認，圍繞Bonsai壓縮技術的合作洽談雖處于“非常早期”階段，但“事情進展得很順利”。一家由加州理工學院研究團隊創立的公司，正在讓27B參數的完整推理模型直接在iPhone上跑起來，這件事本身就足以讓人重新思考端側AI的邊界。
PrismML發布的Bonsai 27B基于阿里通義千問Qwen3.6-27B構建，參數規模達到270億。按照常規存儲方式，這樣一個模型通常需要占用約54GB的存儲空間，即便經過標準壓縮，也要大約18GB。PrismML給出的方案是兩個更小的壓縮版本：面向筆記本的品質優先版約5.9GB，具體封裝大小取決于運行時環境，白皮書中列出的llama.cpp版本約7.2GB，MLX版本約8.49GB；更小的版本則壓縮到約3.9GB，小到能塞進iPhone 17 Pro Max受限的存儲空間里。
PrismML的壓縮思路相當激進。傳統做法用16位存儲每個神經網絡權重，而Bonsai只用1位或略低于2位——在極致壓縮版本中，每個權重只有兩個狀態，稍大一些的版本則有三個狀態。這套方法在整個語言模型上全量應用。PrismML特別指出行業里存在標注混亂的問題，以白皮書中對比的Qwen3.6-27B-IQ2_XXS版本為例，盡管標簽寫著“2-bit”，實際平均每個權重占2.8位。PrismML聲稱，經過自己的評估，在15項基準測試中，較大版本保留了原模型95%的性能，較小版本保留了90%，數學和編程等關鍵能力也維持在可用水平。
這款模型能在iPhone上運行，但內存約束依然苛刻。PrismML指出，一部配備12GB運行內存的iPhone，實際分配給單個應用的只有約6GB，這6GB還要在模型加載和緩存之間分配。Bonsai支持多步推理、工具調用、圖像理解以及基于智能體的任務執行，這些能力在端側運行時意味著什么？PrismML對此有一套清晰的商業邏輯。
現代AI應用越來越依賴強大的本地模型。一個智能體可能按順序發起數百次模型調用，每次調用都要攜帶上下文、生成結構化輸出、再喂給下一步。放在云端，每個token的成本層層累積，每次調用都疊加網絡延遲，中間的推理結果、工具調用記錄以及屏幕內容、文檔等私密數據全部離開設備。而端側運行把這些循環的邊際成本降到了零，用戶數據也留在本地。PrismML的設想是，這將催生常駐后臺的智能體、離線助手以及混合系統——簡單且涉及隱私的任務在端側處理，只有最復雜的環節才丟給云端的前沿模型。
一個能跑在iPhone上的27B推理模型，壓縮十倍后保住九成性能，并且已經進入蘋果的測試序列。這或許不是終點，但它指向的端側智能體方向，正在從技術演示變成商業談判桌上的真實議題。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
