河北
henry 發自 凹非寺
量子位 | 公眾號 QbitAI
還在聊Sim2Real？現在機器人圈更火的是Real2Sim！
最近，英偉達GEAR聯合李飛飛團隊、佐治亞理工大學等機構聯合發布全新Real2Sim系統——
SimFoundry
SimFoundry只需一段真實世界視頻，就能自動生成一個可以交互、訓練、評測的機器人仿真環境。
而且可不光是3D場景重建這么簡單。
SimFoundry還能在保持物體功能和Affordance不變的前提下，自動更換物體、調整場景布局，甚至生成新的操作任務。也就是說，一段真實視頻，不再只能得到一個仿真場景，而是能夠自動擴展出幾乎無限的數據生成空間
由此，SimFoundry不僅可以在仿真里訓練機器人，還能較為可靠地預測不同機器人策略在現實中的真實表現。
更進一步，在SimFoundry生成的數據上訓練出的策略，還能夠零樣本部署到真實機器人，在多步操作、雙臂協作、帶關節物體操作等多個任務上完成真實世界遷移。
這是怎么做到的？
一段視頻，生成無限訓練場景
SimFoundry 的核心貢獻，在于打通了場景生成、數據生成、策略評測和策略訓練的整個Real-to-Sim閉環。
一直以來，機器人策略的訓練一直高度依賴真實世界數據，而真實機器人采集數據不僅昂貴、耗時，還很難規模化。
即便模型訓練完成，真機測試同樣受到場景有限、測試成本高等因素的制約。
正因如此，研究人員開始將仿真（Simulation）作為訓練和評估機器人策略的一種可擴展替代方案。
借助自動化數據生成技術，可以以極低的人力成本合成大量多樣、高質量的訓練數據，不斷提升機器人在真實世界中的泛化能力。
與此同時，越來越多研究也發現，只要仿真環境足夠逼真，其評測結果與真實世界的機器人表現往往具有很強的一致性。
不過，新的問題又出現了。
雖然仿真能夠提供近乎無限的數據，但搭建一個具備真實幾何、物理屬性和交互能力的仿真環境，本身仍然需要大量人工建模。
于是，近兩年Real-to-Sim逐漸成為具身智能領域的熱門方向。
簡單來說，Real-to-Sim希望利用3D重建和生成模型，將真實世界快速轉換成支持物理交互的仿真就緒（Sim-ready）環境，從而大幅降低人工搭建仿真場景的成本。
但問題在于，已有的Real-to-Sim方案往往只能解決其中一個環節：有的擅長重建3D場景，卻無法生成訓練數據；
有的能夠進行策略評測，卻依賴大量人工配置，也難以擴展到豐富的場景和任務。
基于此，SimFoundry 的思路就是把場景構建、數據生成、策略評測和策略訓練串成了一條完整流水線。
整個系統主要完成三件事：
- 自動重建可交互、可仿真的數字孿生（Digital Twin）；
- 自動擴展物體、場景和任務三個層面的數字表親（Digital Cousins），持續生成訓練數據；
- 利用這些仿真環境同時完成策略評測和策略訓練，形成從真實世界到仿真、再回到真實世界的完整閉環。
（注：數字孿生（Digital Twin）是對真實場景的精確復刻；數字表親（Digital Cousins）則保持場景的功能和交互方式不變，但會對物體、布局或任務進行合理變化。）
為了實現這一目標，SimFoundry設計了一套三階段Pipeline。
三階段pipeline
整個SimFoundry的流程并不復雜，可以概括成三個階段：
Extraction（提?。鶪eneration（生成）→Augmentation（增強）
一句話來說，就是先理解真實世界，再搭建數字世界，最后批量創造新的數字世界
第一步：Extraction（提取）——理解真實場景。
系統輸入一段普通RGB視頻后，首先利用深度估計恢復三維點云，再通過視覺語言模型（VLM）和SAM 3等分割模型，將場景中的物體逐個識別、分割出來。
每提取一個物體，就利用圖像修復（Inpainting）將其從畫面中移除，繼續尋找下一個目標，直到完成整個場景解析。
第二步：Generation（生成）——搭建數字孿生。
對于提取出的每個物體，SimFoundry會利用2D-to-3D模型生成三維網格，并結合FoundationPose等模型恢復其真實位姿；對于抽屜、柜門等關節物體，還會自動推導關節結構。
同時，系統進一步補充質量、摩擦力等物理屬性，生成碰撞模型并修復穿模問題，最終導出可直接運行于IsaacLab等物理引擎中的仿真場景，完成Digital Twin（數字孿生）的構建。
第三步：Augmentation（增強）——創造數字表親。
這是SimFoundry最核心的創新。
在數字孿生基礎上，系統進一步自動生成Digital Cousins（數字表親）。它主要從三個維度進行擴展：
一是改變物體外觀和幾何形態，但保持功能不變（Object Cousins）；
二是調整物體布局或加入新物體，生成新的場景（Scene Cousins）；
三是根據場景中的物體及其Affordance，自動推導新的機器人操作任務（Task Cousins）。
換句話說，一段真實視頻，不僅能夠重建一個數字孿生，還能自動擴展出大量保持相同行為語義的新物體、新場景和新任務，為機器人提供幾乎無限的訓練數據。
實驗驗證
為了驗證SimFoundry是否真的能夠替代真實世界進行機器人訓練和評估，研究在兩套機器人平臺、7類典型操作任務上進行了實驗，并分別驗證了Real-to-Sim策略評估和Sim-to-Real策略訓練兩項核心能力。
首先是策略評估。
實驗結果顯示，SimFoundry中機器人的表現與真實世界高度一致，平均皮爾遜相關系數達到0.911，平均最大排名違例（MMRV）僅0.018，相比此前最先進的評測框架PolaRiS有明顯提升。
這意味著，研究人員可以在仿真中較為準確地預測策略在真實機器人的表現，而無需反復進行昂貴的實機測試。
更大的亮點來自論文提出的Digital Cousins。
研究發現，相比僅使用數字孿生進行訓練，引入Object、Scene和Task Cousins后，機器人在真實世界中的平均任務成功率分別提升17%、21%和40%。
同時，僅利用SimFoundry自動生成的數據訓練出的策略，也能夠零樣本部署到真實機器人，在多個操作任務上取得接近滿分的成功率。
作者介紹
最后讓我們來簡單介紹一下這篇文章的作者們。
SimFoundry作者陣容相當豪華，幾乎匯集了NVIDIA GEAR、佐治亞理工學院、斯坦福大學、UT Austin和多倫多大學等機構的核心研究者。
第一作者Nadun Ranawaka Arachchige來自佐治亞理工學院，目前在NVIDIA GEAR實習，師從徐丹飛；
Josiah Wong、Jiangyun Fan等人來自李飛飛團隊；Tianyuan Dai來自朱玉可課題組，此前同樣曾在李飛飛團隊學習；
Masoud Moghani是NVIDIA GEAR與多倫多大學聯合培養博士；Hang Yin曾參與BEHAVIOR項目，現已加入OpenAI。
此外，作者名單還包括Jim Fan、李飛飛、徐丹飛、朱玉可、Ajay Mandlekar、Ruohan Zhang、Wenbowen等機器人領域知名研究者。
[1]https://arxiv.org/pdf/2606.28276v1
[2]https://research.nvidia.com/labs/gear/simfoundry/
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
