“在AI時代,不光多了很多給人看的視頻,比如AI短劇,還多了很多給機器看的視頻。如何讓這些硅基生命更好地理解人類社會?”對于這一問題,安謀科技VPU研發總監黃鑫博士在WAIC 2026安謀科技展臺以《AI VPU:開啟視頻壓縮新篇章》為題,試圖從“面向機器的視頻壓縮”這一維度給出安謀科技的答案。
![]()
視頻角色的嬗變:從為人眼服務,到為AI服務
黃鑫首先厘清了一個產業背景的根本性轉變。傳統視頻壓縮技術,主要解決的是手機存儲、朋友圈傳輸這類問題,衡量的標準是“人眼主觀視覺上有沒有瑕疵”,一切為人的觀看體驗服務。但隨著AI應用與視頻的結合日趨緊密,視頻的角色正在發生根本性變化。
一方面,AI成為視頻的“生產者和加工者”——AIGC生成視頻內容已是常態。另一方面,在更廣泛的應用場景中,AI正在變成視頻的“消費者”。黃鑫列舉了一連串常見的案例:人形機器人、機器狗、自動駕駛以及各類視覺單元的感知模塊——這些系統需要用海量視頻數據進行推理和訓練。視頻,由此成為連接物理世界與虛擬世界的核心橋梁。
![]()
這一角色轉變帶來了一項硬約束:視頻質量對AI推理和訓練精度的影響是決定性的。“如果視頻本身有損,對整個AI推理精度、訓練精度會產生非常大的影響。”黃鑫強調,數據本身的受損,將波及整個產業布局和降本增效的進程。因此,VPU的設計理念必須隨之改變——從為人眼主觀視覺服務,轉向為機器視覺服務。“AI打開了面向機器的視頻壓縮新維度。”他總結道。
從“峨眉”到“武當”,嵌入內容感知編碼
面對這一產業變局,玲瓏VPU的技術演進路線清晰而堅定。黃鑫在回顧了今年初發布的“峨眉”VPU的同時,還首次透露了明年年初即將發布的下一代產品——“武當”VPU。這兩款產品最大的共同特點是:集成了輕量化AI算子,具備了“內容感知編碼”(Content-Aware Encoding, CAE)能力。
所謂內容感知編碼,其核心邏輯是將視頻內容解析為兩個層次:第一層做淺層的圖像紋理處理,第二層做深度的語義解析。這兩層信息被同時注入編碼器,為編碼決策提供智能化的依據。
![]()
黃鑫展示的框架顯示,CAE模塊處于視頻編碼單元的第一級,在搬運數據的同時完成上述兩層處理,再將數據傳輸給下一級的編碼決策模塊。在航拍、游戲、監控等不同場景下,該技術均能實現可觀的碼率節省。
作為“峨眉”之后的又一力作,“武當”在繼承智能感知編碼技術的基礎上,實現了三個維度的顯著提升:
PPA層面,“武當”可支持8K 30fps的編碼能力,足以滿足各類AI應用對性能的需求,同時面積上相較前代有40%的節省。
![]()
規格層面,“武當”新增了對YUV 422編碼格式的支持,這對專業攝像拍攝場景是一大利好;同時支持Raw Data壓縮,可省去輕度轉換環節,更好地服務于AI訓練流程;此外還支持高達1Gbps的碼率,能夠滿足人形機器人等Physical AI應用場景的大帶寬需求。
編碼質量層面,全面繼承“峨眉”的基礎上,“武當”實現了額外提升。黃鑫特別指出,其靈活可配置的特性讓用戶可選擇不同檔次,目前版本已可與軟件最高檔水準持平;而在服務AI應用場景中,面對不規則運動等復雜畫面,“武當”還有額外5%到10%的編碼質量提升。
下一代愿景:從局部最優走向端到端全局最優
“峨眉”和“武當”是服務當下,但技術演進并未止步。黃鑫透露,團隊在研項目中已經開始布局下一代的端到端視頻編碼技術,總體方向有兩條:一是從智能CAE的局部優化拓展到端到端的全局最優;二是從以人眼主觀視覺為主的編碼優化,拓展到面向不同AI應用的定向優化。
![]()
黃鑫展示了正在落地的技術框架。訓練階段,系統引入前置網絡,結合虛擬編碼器和特定AI應用,通過聯合訓練實現針對特定任務的最優優化結果。部署階段,前置網絡經優化后與玲瓏VPU編碼器直接耦合,形成真正意義上“任務感知”的編碼器,最終實現壓縮效率與任務精度的最佳平衡。
![]()
黃鑫展示的對比效果顯示,目前該框架在目標追蹤和動作識別兩項任務上,均已取得10%以上的編碼質量提升。傳統方法處理后的畫面與經過AI VPU算法處理后的畫面,在人眼看來或許差異不大,但對機器而言,后者的可辨識度和友好度明顯更優——精度提升的同時,碼率也得到節省。
![]()
安謀科技的VPU團隊的野心不止于此。據黃鑫介紹,下一步計劃是將AI VPU訓練框架進行泛化,引入前置網絡和后置網絡,通過多模態參數配置,最終實現人眼主觀視覺與AI特定任務的雙向提升——既讓人看得舒服,也讓機器看得明白。
![]()
“如何讓硅基生命擁有和人一樣的清晰視野?”回到最初的提問,黃鑫給出了自己的答案:“玲瓏VPU作為AI視覺的引擎,可以讓人類看清世界,讓AI看懂世界。”
編輯:芯智訊-浪客劍
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.