河南
快科技7月15日消息，今日，小米正式發(fā)布并全量開源380億參數多模態(tài)自回歸具身生成基礎模型Xiaomi-Robotics-U0，是行業(yè)首個可統(tǒng)一覆蓋四類核心具身生成任務的一體化方案。
該模型打破以往機器人場景、軌跡、視頻生成模型相互割裂的行業(yè)現狀，能夠自主生成、擴增機器人訓練所需圖像與視頻數據，解決真機采集極端、危險、長尾場景數據成本高、難度大的痛點。
依托自研FlashAR+推理加速方案，生成效率相較傳統(tǒng)自回歸架構提升近83倍，大幅降低大規(guī)模具身數據生產的落地門檻。
模型統(tǒng)一承載具身場景生成、具身軌跡遷移、機器人交互視頻生成、通用文生圖與圖像編輯四大能力，依托獨創(chuàng)五維解耦結構化控制范式，可分別對工作臺布局、操作物體、雜物、光照、背景五大維度通過自然語言獨立調整，全程保障多視角幾何一致性，修改畫面元素時不會出現機械臂位姿錯位、場景空間畸變問題。
同時兼容方舟無限、智元多款、松靈PiPER等多種機器人本體，支持生成室內、戶外、海底、賽博場景等各類開放世界仿真環(huán)境。
多項權威評測與真機實測驗證了模型領先性能，在全球126款模型同臺比拼的WorldArena具身視頻評測基準中，Xiaomi-Robotics-U0拿下總分第一，指令遵循、交互流暢度、多視角一致性全部領跑。
在具身遷移對比測試中，模型在深度一致性、結構保真等指標全面超越閉源GPT-Image-2.0，后者普遍存在跨視圖物體錯位缺陷，無法用于機器人訓練數據擴充。
真機實操場景下，使用該模型擴增數據訓練的機器人，在陌生光照、全新背景等分布外復雜工況中，任務完成進度平均提升超26%，面對反光、彩色強光等視覺干擾也可自主校正，大幅提升機器人環(huán)境泛化能力。
真機任務成功率對比
推理層面小米推出FlashAR+加速方案，搭配vLLM分頁KV緩存批量調度技術，優(yōu)化圖像編輯、具身遷移全流程解碼速度，1024*1024分辨率圖像生成耗時從四百多秒壓縮至5.44秒，在保障畫面、物理交互質量的前提下適配工業(yè)化批量生成需求。
目前模型全部代碼、權重已在官網、GitHub、Hugging Face、魔搭平臺完整開源，面向全球具身智能開發(fā)者開放使用。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
