北京
鳳凰網科技訊 7月14日，騰訊混元團隊宣布，針對開源社區需求，已將旗艦模型Hy3（295B參數）權重量化至1bit與4bit并打包為GGUF格式，配合llama.cpp生態，使該模型可單卡乃至在內存充足的本地機器上部署。
Hy3原始BF16權重接近600GB，需多卡服務器承載。量化后，1bit版本（IQ1_M）壓縮至85.5GiB，縮小6.7倍，單張96GB推理顯卡即可部署；4bit版本（Q4_K_M）體積169.9GiB，兩張推理顯卡即可承載。實測顯示，4bit版本在Agent、多語言代碼、工具調用等任務上貼近滿血模型效果；1bit版本在長文理解、Agent與代碼任務上保持良好，僅小幅回落。團隊同步提供GPTQ Int4版本，支持vLLM部署。此外，團隊還開發了llama.cpp補丁支持MTP投機解碼，開啟后1bit版本解碼速度提升約50%，4bit版本提升近60%。相關量化模型與部署指引已在HuggingFace上線。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
