PhysForge框架來了，讓3D資產(chǎn)從靜態(tài)模型變成可交互對象

在交互式虛擬世界和具身智能快速發(fā)展的今天，高質(zhì)量 3D 資產(chǎn)已經(jīng)不再只是 “看起來像” 就足夠。一個柜門不僅要有柜門的外觀，還需要知道繞哪條軸旋轉(zhuǎn)；一個按鈕不僅要有按鈕的形狀，還需要具備 “按下 / 彈起” 的狀態(tài)；一個抽屜不僅要有完整幾何，還需要擁有滑動方向、運動范圍、材質(zhì)和質(zhì)量等物理屬性。該研究已被 ICML 2026 接收。

然而，現(xiàn)有 3D 生成方法大多仍停留在靜態(tài)幾何和紋理層面。它們可以生成視覺上精致的模型，卻往往缺少支撐真實交互的功能邏輯與層級化物理結(jié)構(gòu)。這類 “靜態(tài)外殼” 難以直接進入機器人仿真或游戲引擎環(huán)境。

為了解決這一難題，香港大學(xué)和騰訊混元等機構(gòu)的研究者們提出了PhysForge，一個面向交互式虛擬世界的physics-grounded 3D asset generation框架。該框架僅需單張輸入圖像，就能生成具備部件結(jié)構(gòu)、物理屬性、功能語義和精確運動學(xué)參數(shù)的 3D 資產(chǎn)。

• 論文題目：PhysForge: Generating Physics-Grounded 3D Assets for Interactive Virtual World
• 項目主頁：https://hku-mmlab.github.io/PhysForge/
• 論文鏈接：https://arxiv.org/abs/2605.05163

一、效果展示

如圖所示，PhysForge 只需要單張輸入圖像，就可以生成 physics-grounded 3D assets。生成結(jié)果不僅包含高質(zhì)量幾何和紋理，還具備部件結(jié)構(gòu)，并為每個部件給出詳細的物理屬性標簽。

對于可動部件，PhysForge 還會預(yù)測關(guān)節(jié)軸、關(guān)節(jié)原點和運動范圍等運動學(xué)參數(shù)，并給出可交互方式。這使得一個生成出的水壺、柜門、按鈕或臺燈，不再只是可觀看的模型，而是可以被打開、按壓、抓取或放入交互式虛擬世界中的資產(chǎn)。

視頻鏈接：https://mp.weixin.qq.com/s/en_3cDxnKZRTDdwnSeVQTQ

在機器人仿真展示中，PhysForge 生成的資產(chǎn)被導(dǎo)入 RoboTwin 環(huán)境后，機械臂能夠識別并操作其功能部件，例如按照關(guān)節(jié)約束打開柜門、拉出抽屜或抓取指定部件。

視頻鏈接：https://mp.weixin.qq.com/s/en_3cDxnKZRTDdwnSeVQTQ

二、為什么需要 Physics-Grounded 3D Assets？

過去一段時間，3D 生成模型在整體形狀、紋理和視覺質(zhì)量上進步很快：模型是否好看、幾何是否完整、表面是否逼真，已經(jīng)成為常規(guī)評價維度。但在具身智能和交互式虛擬環(huán)境中，視覺逼真只是第一步。

一個真正可交互的 3D 資產(chǎn)，還需要回答一組更深層的問題：

• 物體由哪些功能部件組成？
• 每個部件具有什么語義、材質(zhì)和質(zhì)量？
• 哪些部件可以被推動、抓取、旋轉(zhuǎn)或滑動？
• 部件之間存在怎樣的層級和父子關(guān)系？
• 可動部件的關(guān)節(jié)類型、軸向、原點和運動范圍分別是什么？

這些信息共同決定了資產(chǎn)能否被仿真器、游戲引擎和具身智能系統(tǒng)真正使用。沒有物理屬性和運動學(xué)定義的模型，即便視覺上再精致，也很難成為 “可操作” 的環(huán)境對象。

PhysForge 的核心觀點正是：交互式資產(chǎn)生成必須根植于功能邏輯和層級化物理結(jié)構(gòu)。形狀不應(yīng)只是外觀的結(jié)果，也應(yīng)該是功能、材料、約束和可操作性的共同體現(xiàn)。

三、方法介紹：兩階段 “規(guī)劃 - 生成” 策略

PhysForge 將復(fù)雜的 physics-grounded 3D asset generation 解耦為兩個階段：先由 VLM 進行物理規(guī)劃，再由 diffusion model 完成幾何、紋理與運動學(xué)參數(shù)的聯(lián)合生成。

第一階段是 VLM-based Planning。研究者們將 VLM 訓(xùn)練成一個 “physical architect”：它接收單張圖像、可選 2D mask，以及由 TRELLIS 生成的 3D voxel 表示，并自回歸生成 Hierarchical Physical Blueprint。

這個物理藍圖定義了每個部件的 3D bounding box、父子層級關(guān)系、關(guān)節(jié)類型，以及材質(zhì)、質(zhì)量、部件功能、狀態(tài)機和 atomic affordance 等信息。換句話說，模型會先在語義和物理層面判斷 “這個物體應(yīng)該如何被拆解、如何被使用、又應(yīng)該如何運動”。

第二階段是 Diffusion-based Generation。VLM 擅長進行結(jié)構(gòu)和語義規(guī)劃，但關(guān)節(jié)軸方向、關(guān)節(jié)原點、運動范圍等連續(xù) 3D 參數(shù)，仍然需要更精細的生成機制。因此，PhysForge 將這些精確數(shù)值交給 diffusion stage 來 “鍛造”。

為此，研究者們提出了KineVoxel Injection (KVI) 機制。KVI 將每個可動部件的關(guān)節(jié)原點、關(guān)節(jié)軸和運動限制編碼為 kinematic voxel，并與幾何 voxel 一起進入統(tǒng)一的 diffusion denoising 過程。這樣，模型可以在同一個生成過程中協(xié)同學(xué)習 “部件長什么樣” 和 “部件應(yīng)該怎么動”。

最終，PhysForge 能夠同時輸出高質(zhì)量幾何、紋理、部件結(jié)構(gòu)和精確運動學(xué)參數(shù)，讓單圖生成的 3D 資產(chǎn)具備直接進入交互環(huán)境的能力。

四、PhysDB：15 萬資產(chǎn)的物理標注基座

為了支撐這一任務(wù)，研究者們構(gòu)建了 PhysDB，一個包含 15 萬 3D 資產(chǎn)的大規(guī)模數(shù)據(jù)集。PhysDB 來源于 Objaverse，覆蓋 household、industrial、weapons、personal、vehicles、tech & electronics、cultural items 等七大類別，并為資產(chǎn)提供細粒度、層級化的物理標注。

PhysDB 的標注體系分為四層：

• Holistic properties：描述物體整體尺度、類別和使用場景，例如 kitchen、bedroom 等。
• Static properties：描述部件級語義、材質(zhì)和質(zhì)量，例如 metal、wood 等。
• Functional properties：描述部件的內(nèi)在功能和狀態(tài)機，例如 “to contain” 或按鈕的 pressed/released 狀態(tài)。
• Interactive properties：描述可交互屬性和運動學(xué)定義，包括 pushable、graspable、joint type、parent part、axis origin、axis direction 和 joint limits。

這套標注讓模型學(xué)習的不只是 “部件在哪里”，更是 “部件是什么、能做什么、應(yīng)該如何被操作”。它為 PhysForge 從靜態(tài)視覺生成走向 physics-grounded 3D asset generation 提供了關(guān)鍵數(shù)據(jù)基礎(chǔ)。

五、豐富的下游應(yīng)用

PhysForge 生成的資產(chǎn)不是停留在展示層面的靜態(tài)模型，而是可以直接服務(wù)于多個下游場景。

第一，機器人仿真。對于機器人訓(xùn)練和評測，PhysForge 生成的資產(chǎn)可以作為可操作的環(huán)境對象擴充仿真場景，減少手工建模、關(guān)節(jié)綁定和物理參數(shù)配置成本，讓機器人更容易在多樣化物體上學(xué)習真實交互。

第二，虛擬世界與游戲引擎。在 Unity、Unreal Engine 等交互式環(huán)境中，PhysForge 生成的資產(chǎn)已經(jīng)具備材質(zhì)、質(zhì)量、功能和關(guān)節(jié)信息，開發(fā)者可以更直接地構(gòu)建復(fù)雜交互邏輯，而不必從零手工配置每一個可動物體。

第三，具身智能 agent 與環(huán)境交互。由于第一階段會生成文本化的 physical blueprint，agent 可以通過自然語言查詢資產(chǎn)的結(jié)構(gòu)和功能信息，從而形成更明確的任務(wù)計劃。例如面對一個柜子，agent 可以知道柜門在哪里、把手屬于哪個部件、關(guān)節(jié)如何旋轉(zhuǎn)，以及應(yīng)該如何完成打開操作。

六、總結(jié)

PhysForge 將 3D 生成的目標從 “生成靜態(tài)外觀” 推進到 “生成可交互資產(chǎn)”。通過 VLM-based Planning 與 Diffusion-based Generation 的兩階段設(shè)計，該框架先規(guī)劃層級化物理藍圖，再通過 KineVoxel Injection 生成高質(zhì)量幾何、紋理和精確運動學(xué)參數(shù)。

同時，PhysDB 為這一方向提供了大規(guī)模、細粒度、層級化的物理標注基礎(chǔ)。面向交互式虛擬世界、機器人仿真和具身智能數(shù)據(jù)引擎，physics-grounded 3D asset generation 將成為重要基礎(chǔ)能力。PhysForge 則邁出了關(guān)鍵一步：讓生成的 3D 資產(chǎn)不止 “看起來真實”，也能真正 “被理解、被操作、被交互”。