AI智能體構建虛擬訓練場，為機器人提供關鍵訓練數據

如今，機器人行走在街頭的景象已不再罕見，引得路人駐足圍觀。然而，這些機器還遠未達到在廚房或工廠中全能協作的水平，制約其發展的關鍵瓶頸之一正是數據。與人類的學習方式類似，機器人在實踐中學習效果最佳。但問題在于，在不同場景下對機器進行大量動作的實體訓練，既耗時又費力。

"利用仿真環境作為訓練場是一個自然而然的思路。過去幾年，驅動機器人模擬器的物理引擎取得了長足進步，但現存挑戰之一仍是如何創建足夠豐富、多樣的仿真內容，以還原真實世界的復雜性。"麻省理工學院（MIT）豐田電氣工程與計算機科學、航空航天及機械工程講席教授、MIT計算機科學與人工智能實驗室（CSAIL）首席研究員羅斯·特德雷克（Russ Tedrake）如此表示。

事實證明，AI智能體——即能夠"思考"并完成特定任務的半自主程序——或許正是生成機器人所需逼真虛擬環境的關鍵。MIT CSAIL與豐田研究院的研究人員聯合開發了一套名為"SceneSmith"的全新系統，借助三個智能體協作完成三維場景的物體擺放、墻體構建及整體外觀呈現。該系統對餐廳、臥室、酒店等室內空間的還原效果，比此前的方案更加逼真、細致，有助于機器人在真正上線之前練習技能、嘗試不同的任務執行方式，從而為工程師節省大量實地測試的時間。

這三個智能體之所以能理解日常空間的"應有樣子"，是因為它們各自調用了一個名為視覺語言模型（VLM）的多模態系統，具體采用的是目前最先進的VLM——GPT-5.2。該模型基于海量互聯網文本與圖像訓練而成，能夠處理更多視覺提示。這一先進模型賦予了每個智能體一定程度的空間認知能力：首先，"設計師"智能體負責生成場景元素；接著，"評審師"判斷場景是否符合現實；最后，"協調者"統籌二者的往復交互，決定設計何時完成。三個VLM完成創作協作后，生成的場景可直接載入物理仿真軟件。

"我們發現，這套系統能夠像人類設計師一樣構建三維場景。"MIT電氣工程與計算機科學博士生、CSAIL研究員尼古拉斯·普法夫（Nicholas Pfaff）表示，他是與特德雷克共同發表該研究論文的第一作者。"我們使用一款具備互聯網級先驗知識的領先VLM生成了逾1300個場景，它創造出了令人嘆為觀止的多樣化布局。這些并不是我在提示詞中教給系統的——它完全是自主發揮的。"

與智能體對話

得益于VLM智能體，用戶可以向SceneSmith發出諸如"生成一個停放著汽車、擺有工作臺、角落里堆著輪胎、墻邊靠著梯子的車庫"的指令，隨即獲得一個對象豐富、供機器人自由探索的虛擬空間。與此前的方法相比，這些房間每個場景的物品數量多達六倍，非常適合訓練機器人完成將杯子放進水槽、把水果擺到盤子上、將飲料罐從貨架移至桌面等技能。

有了如此豐富的虛擬環境，研究人員無需在物理世界中反復試錯，便可評估機器人是否具備實際部署的能力。研究團隊在SceneSmith生成的數字世界中測試了多種行動方案（又稱"策略"），共生成了100個獨特空間。VLM智能體對每次嘗試進行評估后發現，機器人的方案存在明顯缺陷，機器在完成任務時頻頻失敗。人類評審員對該模型判斷結果的認同率超過99%，這或將幫助機器人工程師在機器人真正進入現實世界之前，就在仿真環境中篩除有缺陷的方案。

那么，這些虛擬世界究竟有多真實？這一問題難以直接證明，因此研究人員從多個角度加以驗證。其中最具說服力的測試是：將一個預訓練的機器人策略——該AI控制器主要基于真實世界數據訓練，從未見過任何SceneSmith生成的場景——投入生成的虛擬環境中運行。在一項測試中，用戶指示系統"將蘋果從碗里取出放到砧板上"，仿真機器人完全按照指令完成了操作。如果這些場景與機器人策略所學習的真實環境差異顯著，這一結果根本不可能實現。

研究團隊還通過遠程操控，引導機器人在虛擬空間中開關櫥柜、收納瓶子、穿行于不同房間。實驗結果表明，這些虛擬環境能夠承受持續的物理交互，其可靠性已不僅限于視覺層面的檢驗。

幕后機制

SceneSmith的每個智能體在生成流程中各司其職，逐步豐富場景細節，本質上是先創建平面圖，再逐步賦予其生命。

以生成一棟住宅的一樓為例：首先，"設計師"VLM生成整體布局，由"評審師"進行審核，再由"協調者"最終確認。此后，智能體對每個步驟重復上述流程：依次添加家具、在墻面和天花板上布置物品，最后放入機器人可操作的對象。例如，VLM可以添加機器人能夠開關的櫥柜——這類可動部件是此前基準方法鮮少涵蓋的內容。

在每個階段，第二個VLM負責確保場景的合理性，例如建議將浴缸從客廳中移除；第三個VLM則把控整體質量，必要時甚至會將設計流程回退數步，直到視覺效果達標。三個VLM完成創作協作后，物理世界的力學規律將通過仿真軟件被疊加至場景中。

憑借對房間外觀、物品擺放方式以及真實世界物理規律的深入理解，SceneSmith相較于此前方案具備明顯優勢。與"HSM"和"Holodeck"等場景生成基準方法相比，SceneSmith生成的環境包含更多物品，場景類型也更為多樣，涵蓋私人辦公室、陶瓷店，甚至Minecraft主題游戲室。

SceneSmith還贏得了逾200名用戶的青睞。超過90%的受測用戶認為該系統生成的視覺效果更加逼真，并普遍認為它比其他方法更能精準遵循提示詞的要求。換言之，它是目前最善于生成用戶真正期望見到的虛擬訓練場的系統。

多才多藝的系統

SceneSmith在真實感、多樣性和場景豐富度方面均表現出色，即便是生成單個三維物體也不例外。用戶可以提示它創建一輛滾輪服務推車，系統會先生成一張二維圖像，再將其轉化為帶有質量、摩擦力、慣性等物理屬性的精細三維模型。

不過，如此精細的流程也帶來了速度上的取舍。由于智能體需要逐一生成并仔細審查每個物體，生成單個場景可能耗費數小時。若計算資源得以增強，系統效率有望大幅提升。CSAIL工程師還希望在廣泛的三維資產庫建立之后，將系統擴展至可形變物體（如海綿）的生成。

亞馬遜機器人部門應用科學家杰里米·比納吉亞（Jeremy Binagia）未參與本研究，但他評價道："SceneSmith在這一領域實現了重大突破——它提供了一個智能體框架，僅憑簡單的文本提示即可生成可直接用于仿真的室內環境。它在多個維度上推動了技術進步，包括突破仿真環境中物體密度的上限、確保所有物體在物理層面的精準性（而非僅僅追求視覺逼真），以及生成不受固定資產庫限制的素材——因為這些素材可以通過文本轉三維的方式即時生成。"

本文作者除普法夫和特德雷克外，還包括MIT博士生、CSAIL研究員托馬斯·科恩（Thomas Cohn，SM '24），以及豐田研究院機器人工程師謝爾蓋·扎哈羅夫（Sergey Zakharov）和瑞克·科里（Rick Cory，SM '08，PhD '10）。該研究得到了亞馬遜、美國海軍研究辦公室、豐田研究院及美國國家科學基金會的部分資助。

研究團隊已在上周舉辦的國際機器學習大會（ICML）上以焦點論文形式發布了這項成果。

Q&A

Q1：SceneSmith系統是如何生成三維場景的？

A：SceneSmith通過三個VLM智能體協作完成場景生成。"設計師"智能體負責生成場景元素，"評審師"判斷場景是否真實合理，"協調者"統籌前兩者的交互并決定何時完成設計。生成過程分階段推進，依次完成整體布局、家具添加、墻面與天花板布置，以及可供機器人操作的對象放置，最終輸出可直接載入物理仿真軟件的完整場景。

Q2：SceneSmith生成的虛擬環境對機器人訓練有什么實際幫助？

A：SceneSmith生成的場景每個包含的物品數量是此前方法的六倍，能幫助機器人練習取放物品等日常操作技能。研究團隊將從未接觸過SceneSmith場景的預訓練機器人策略放入生成環境中測試，機器人仍能成功完成任務，證明這些虛擬場景與真實環境高度相似。此外，系統可在機器人正式部署前篩除有缺陷的行動方案，人類評審員對VLM判斷結果的認同率超過99%。

Q3：SceneSmith和其他場景生成方法相比有哪些優勢？

A：與"HSM"和"Holodeck"等基準方法相比，SceneSmith生成的場景物品更多、類型更多樣，還能生成可動部件（如可開關的櫥柜）。超過200名用戶測試顯示，90%以上的用戶認為SceneSmith的視覺效果更逼真，且更能精準遵循用戶的文本提示。此外，SceneSmith生成的三維物體帶有質量、摩擦力、慣性等物理屬性，不受固定資產庫限制。