為視頻虛擬試衣解鎖自由視角，TryOnCrafter玩轉(zhuǎn)4D試衣代理

視頻虛擬試衣（VVT）作為電商展示與數(shù)字內(nèi)容創(chuàng)作中的核心技術(shù)，已在動(dòng)態(tài)人物換裝、服裝紋理保持和視頻時(shí)序連貫性方面取得顯著進(jìn)展。然而，現(xiàn)有方法大多仍受限于固定相機(jī)視角，生成結(jié)果被動(dòng)依賴源視頻的原始相機(jī)軌跡，難以滿足用戶對(duì)于自由旋轉(zhuǎn)、拉近、拉遠(yuǎn)或環(huán)繞觀察試衣效果的真實(shí)需求。

面對(duì)這一挑戰(zhàn)，我們提出了首個(gè)面向可控相機(jī)視頻虛擬試衣（CaM-VVT）的視頻 DiT 框架 TryOnCrafter。得益于顯式 4D 幾何錨定，TryOnCrafter 首次系統(tǒng)性解決了試衣場(chǎng)景中的用戶自由運(yùn)鏡需求，支持主體重定位、子彈時(shí)間、360 度環(huán)繞等全新試衣效果，在保持人物結(jié)構(gòu)穩(wěn)定、服裝紋理連續(xù)與場(chǎng)景關(guān)系自然的同時(shí)，真正讓用戶從「觀看固定視角試衣視頻」走向「自由探索動(dòng)態(tài)穿搭效果」。

換句話說(shuō)，TryOnCrafter 并不是在傳統(tǒng)視頻試衣結(jié)果上簡(jiǎn)單「移動(dòng)鏡頭」，而是將人物、服裝、背景與相機(jī)軌跡統(tǒng)一到 4D 世界空間中，從任務(wù)定義、空間建模到視頻生成方式都對(duì)傳統(tǒng) VVT 進(jìn)行了擴(kuò)展。二者的核心區(qū)別如下：

基于上述設(shè)計(jì)，TryOnCrafter 突破了以往視頻虛擬試衣結(jié)果被鎖定在源視頻相機(jī)軌跡中的限制。借助可渲染 4D 試衣代理和代理錨定視頻 DiT，模型能夠在用戶指定的自由相機(jī)軌跡下生成結(jié)構(gòu)穩(wěn)定、外觀自然的試衣視頻。

研究背景

視頻虛擬試衣（VVT）旨在將指定服裝無(wú)縫遷移至視頻中的目標(biāo)人物，同時(shí)保持人物身份特征與動(dòng)作連貫性。現(xiàn)有 VVT 方法雖在生成逼真動(dòng)態(tài)換裝效果上取得顯著進(jìn)展，但普遍受限于一個(gè)根本性約束：生成結(jié)果嚴(yán)格綁定于源視頻的原始相機(jī)軌跡，用戶無(wú)法像在實(shí)體試衣或三維商品展示中那樣，自由旋轉(zhuǎn)、拉近、拉遠(yuǎn)或環(huán)繞觀察服裝在不同視角下的穿著效果。

在真實(shí)的線上購(gòu)物場(chǎng)景中，消費(fèi)者真正想看的往往不只是衣服「穿上去像不像」，而是在不同角度、不同動(dòng)作、不同距離下衣服是否合身 —— 側(cè)面衣型是否貼合，背面紋理是否完整，走動(dòng)時(shí)衣擺是否合理，鏡頭繞到另一側(cè)時(shí)人物與背景是否還能保持一致。

為突破上述局限，本文提出 TryOnCrafter 框架，并定義一個(gè)新的研究任務(wù)：可控相機(jī)視頻虛擬試衣（Camera?Controllable Video Virtual Try?On, 簡(jiǎn)稱 CaM?VVT）這個(gè)任務(wù)不只是把目標(biāo)服裝穿到動(dòng)態(tài)人物身上，更要求模型能夠在指定的新相機(jī)軌跡下，生成結(jié)構(gòu)穩(wěn)定、紋理一致、人物動(dòng)作自然、前背景關(guān)系合理的視頻虛擬試衣結(jié)果。

TryOnCrafter 摒棄傳統(tǒng)的隱式像素空間操作，轉(zhuǎn)而引入可渲染的 4D 試衣代理（renderable 4D try?on proxy），通過(guò)將高質(zhì)量的 2D 試衣先驗(yàn)蒸餾至基于 3D 高斯?jié)姙R（3DGS）的穿衣虛擬人體，并借助 SMPL?X 序列驅(qū)動(dòng)以及度量對(duì)齊至重建的背景點(diǎn)云，構(gòu)建出兼具高紋理密度與完整運(yùn)動(dòng)結(jié)構(gòu)的魯棒幾何表征。該代理作為 4D 幾何錨點(diǎn)，可渲染得到初始視頻；后續(xù)生成環(huán)節(jié)則以視頻擴(kuò)散 Transformer（Video DiT）為主干模型，對(duì)初始渲染結(jié)果進(jìn)行細(xì)化，確保最終輸出既嚴(yán)格遵循目標(biāo)相機(jī)軌跡，又具備物理合理的動(dòng)態(tài)形變。

總的來(lái)說(shuō)，我們的貢獻(xiàn)可以概括為以下三個(gè)方面：

• 定義了可控相機(jī)視頻虛擬試衣（CaM-VVT）任務(wù)，并提出了首個(gè)基于視頻 DiT 的 CaM-VVT 統(tǒng)一框架 TryOnCrafter
• 引入可渲染 4D 試衣代理，通過(guò)將 2D 試衣先驗(yàn)蒸餾至 3DGS 穿衣虛擬人體，并聯(lián)合 SMPL?X 驅(qū)動(dòng)與背景點(diǎn)云度量對(duì)齊，構(gòu)建顯式的 4D 空間結(jié)構(gòu)代理
• 支持多種下游應(yīng)用，包括人物重定位、360° 環(huán)繞試衣及子彈時(shí)間效果，充分釋放 4D 試衣代理在編輯任務(wù)中的潛力

• 論文標(biāo)題：TryOnCrafter: Unleashing Camera Trajectories for Realistic Video Virtual Try-on via a Renderable 4D Try-on Proxy
• 論文地址：https://arxiv.org/abs/2606.26092
• 項(xiàng)目地址：https://sunhao242.github.io/TryOnCrafter_web.github.io

方法介紹

TryOnCrafter 采用「先構(gòu)建顯式 4D 空間代理，再進(jìn)行代理錨定視頻生成」的兩階段流程，將可控相機(jī)視頻虛擬試衣從傳統(tǒng)的像素級(jí)換裝問(wèn)題，轉(zhuǎn)化為一個(gè)以 4D 世界空間為核心的重渲染與生成任務(wù)。

給定源視頻、目標(biāo)服裝圖像和用戶指定的目標(biāo)相機(jī)軌跡，TryOnCrafter 首先構(gòu)建一個(gè)可渲染 4D 試衣代理，該代理為后續(xù)生成提供明確的幾何結(jié)構(gòu)、姿態(tài)運(yùn)動(dòng)和前背景關(guān)系約束。隨后，TryOnCrafter 以該代理在目標(biāo)相機(jī)軌跡下的渲染結(jié)果作為結(jié)構(gòu)先驗(yàn)，輸入視頻擴(kuò)散 Transformer 進(jìn)行生成式細(xì)化，補(bǔ)全真實(shí)感紋理、身份細(xì)節(jié)和遮擋區(qū)域內(nèi)容，最終得到符合指定視角運(yùn)動(dòng)、時(shí)序穩(wěn)定且外觀自然的自由視角試衣視頻。

綜上，TryOnCrafter 的整體方法可以分為兩個(gè)緊密銜接的核心模塊：其一是可渲染 4D 試衣代理，負(fù)責(zé)建立穩(wěn)定、可編輯、可渲染的 4D 幾何錨點(diǎn)；其二是視頻擴(kuò)散 Transformer 模型，負(fù)責(zé)在該錨點(diǎn)約束下完成真實(shí)感視頻生成。

可渲染 4D 試衣代理構(gòu)建流程

4D 試衣代理是一個(gè)可渲染、可編輯、隨時(shí)間變化的 4D 穿衣人體表示。構(gòu)建過(guò)程包括：

• 背景重建：從源視頻中恢復(fù)背景點(diǎn)云和相機(jī)信息。
• 人體運(yùn)動(dòng)恢復(fù)：通過(guò) SMPL-X 對(duì)齊人體動(dòng)作序列。
• 2D 試衣先驗(yàn)蒸餾：將高質(zhì)量 2D 試衣結(jié)果蒸餾到 3DGS 模型中，形成穿著目標(biāo)服裝的 3D 人體化身。
• 場(chǎng)景統(tǒng)一對(duì)齊：通過(guò)人體點(diǎn)云錨點(diǎn)，將 SMPL-X 動(dòng)作序列度量對(duì)齊到重建的背景點(diǎn)云中，然后將人體化身隨 SMPL-X 動(dòng)作變形，如上圖（a）、（b）所示。

這樣一來(lái)，人物、服裝、背景和相機(jī)軌跡不再是彼此割裂的像素線索，而是被規(guī)范到同一 4D 世界空間中。模型在生成視頻時(shí)，不再憑空想象新視角內(nèi)容，而是以 4D 試衣代理作為幾何錨點(diǎn)，讓每一幀都受到明確的空間結(jié)構(gòu)約束。

視頻擴(kuò)散 Transformer 構(gòu)建流程

在完成 4D 試衣代理后，TryOnCrafter 并不會(huì)直接把代理渲染結(jié)果作為最終視頻，而是將其作為幾何與紋理先驗(yàn)，輸入到代理錨定的視頻擴(kuò)散 Transformer 中進(jìn)行細(xì)化。該模塊基于預(yù)訓(xùn)練 Wan2.1-I2V-14B 構(gòu)建，核心目標(biāo)是在嚴(yán)格遵循目標(biāo)相機(jī)軌跡的同時(shí)，補(bǔ)足代理渲染中可能存在的細(xì)節(jié)缺失、遮擋區(qū)域和真實(shí)感不足。

具體而言，給定目標(biāo)相機(jī)軌跡，4D 試衣代理首先渲染得到一段初始視頻。該渲染視頻顯式編碼了人物姿態(tài)、服裝大體紋理、背景結(jié)構(gòu)以及相機(jī)運(yùn)動(dòng)，被作為視頻 DiT 的主結(jié)構(gòu)錨點(diǎn)。為了突出有效幾何區(qū)域，模型還引入下采樣二值 mask，并在 patchify 階段將這些編碼特征與擴(kuò)散噪聲在通道維度拼接，使每一步去噪過(guò)程都受到像素級(jí)對(duì)齊的時(shí)空約束。與此同時(shí)，TryOnCrafter 將高質(zhì)量參考幀注入到渲染序列首幀，用于穩(wěn)定早期去噪階段的整體外觀，減少輪廓漂移和身份偏移。

在條件設(shè)計(jì)上，TryOnCrafter 采用三層引導(dǎo)機(jī)制：

• 渲染先驗(yàn)（Rendered Prior）：由 4D 試衣代理在目標(biāo)相機(jī)軌跡下渲染得到，提供最基礎(chǔ)的時(shí)空結(jié)構(gòu)約束，確保人物朝向、身體姿態(tài)、背景位置和服裝變形與目標(biāo)視角一致。
• 跨視角參考適配器（CRA）：從源視頻和參考信息中提取細(xì)粒度身份、服裝與背景特征，并以殘差形式注入 DiT 主干。如上圖（c）所示，CRA 共享 DiT 中 self-attn 的 Key/Value 投影權(quán)重，同時(shí)使用獨(dú)立的 Query/Output 權(quán)重，在盡量保持預(yù)訓(xùn)練生成能力的前提下，幫助模型在未觀察過(guò)的新視角中維持人物身份、服裝紋理和場(chǎng)景細(xì)節(jié)。
• 多模態(tài)語(yǔ)義條件（Multi-Modal Semantic Conditioning）：通過(guò) CLIP 圖像編碼器提取服裝紋理與材質(zhì)特征，并結(jié)合文本編碼器提供的高層屬性描述，將這些語(yǔ)義 token 通過(guò)交叉注意力注入 DiT 模塊。該設(shè)計(jì)尤其有助于處理遮擋區(qū)域或代理重建稀疏區(qū)域，減少長(zhǎng)視頻生成中的紋理漂移和語(yǔ)義不一致。

訓(xùn)練上，TryOnCrafter 采用漸進(jìn)式兩階段策略：第一階段在常規(guī)單目視頻試衣數(shù)據(jù)上進(jìn)行基礎(chǔ) VVT 預(yù)訓(xùn)練，讓模型先學(xué)會(huì)穩(wěn)定的服裝遷移、紋理保持與時(shí)序一致性；第二階段引入相機(jī)控制，在合成多視角試衣數(shù)據(jù)上進(jìn)行 CaM-VVT 微調(diào)，使模型進(jìn)一步學(xué)習(xí)跨視角空間一致性、視角相關(guān)服裝形變以及復(fù)雜相機(jī)運(yùn)動(dòng)下的真實(shí)感重建與生成。

因此，TryOnCrafter 的視頻 DiT 并不是一個(gè)單純「美化渲染結(jié)果」的后處理模塊，而是一個(gè)被 4D 代理顯式錨定的生成器：4D 代理負(fù)責(zé)把人物、服裝、背景和相機(jī)軌跡固定在同一世界空間中，視頻 DiT 則在此基礎(chǔ)上補(bǔ)全真實(shí)感、細(xì)節(jié)和動(dòng)態(tài)一致性。這樣生成的視頻既能跟隨任意目標(biāo)相機(jī)軌跡，又能保持穩(wěn)定的人物結(jié)構(gòu)、服裝紋理和場(chǎng)景連貫性。

為何不能簡(jiǎn)單串聯(lián)「試衣 + 相機(jī)控制」模型？

兩階段方案（「視頻試衣模型」+「相機(jī)控制模型」）看似直接，但極易出現(xiàn)誤差累積問(wèn)題：第一階段生成結(jié)果的服裝紋理不穩(wěn)定，第二階段在改變鏡頭時(shí)會(huì)進(jìn)一步放大這些問(wèn)題，導(dǎo)致衣服變形、人物結(jié)構(gòu)崩壞、背景扭曲，推理成本也更高。

TryOnCrafter 的核心洞察在于：需要一個(gè)穩(wěn)定的中間表示來(lái)橋接試衣與視角控制 —— 即可渲染 4D 試衣代理。

實(shí)驗(yàn)結(jié)果

我們?cè)诜窍鄼C(jī)可控視頻虛擬試衣和相機(jī)可控視頻虛擬試衣兩個(gè)任務(wù)上都與現(xiàn)有方法進(jìn)行了對(duì)比。

非相機(jī)可控視頻虛擬試衣

相機(jī)可控視頻虛擬試衣

潛在應(yīng)用

由于構(gòu)建了顯式的 4D Try-on Proxy，TryOnCrafter 不只是一套視頻生成模型，也可以作為一個(gè)可重復(fù)編輯的數(shù)字試衣空間。論文展示了三個(gè)具有現(xiàn)實(shí)效益的潛在應(yīng)用方向：

• 主體重定位。TryOnCrafter 可以把穿著目標(biāo)服裝的人物移動(dòng)到場(chǎng)景中的任意位置，同時(shí)保持人物與背景之間的遮擋、尺度和透視關(guān)系。對(duì)于電商展示、廣告制作或虛擬模特視頻，這意味著同一段素材可以被重新編排到不同構(gòu)圖中。
• 子彈時(shí)間。TryOnCrafter 可以凍結(jié)某一時(shí)刻的人體姿態(tài)，同時(shí)讓相機(jī)環(huán)繞運(yùn)動(dòng)，生成類似電影 Bullet Time 的動(dòng)態(tài)試衣展示。這為時(shí)尚短視頻、品牌視覺(jué)營(yíng)銷和沉浸式商品展示提供了更具表現(xiàn)力的生成方式。
• 360 環(huán)繞視角試衣。用戶可以圍繞人物生成完整環(huán)繞視角，從正面、側(cè)面到背面連續(xù)查看服裝效果。相比很多只能支持窄角度視角變化的方法，TryOnCrafter 能在未觀察視角中繼續(xù)保持結(jié)構(gòu)穩(wěn)定和紋理一致，這正對(duì)應(yīng)真實(shí)購(gòu)物中「我想看看背面」的核心需求。

魯棒性測(cè)試

為了驗(yàn)證 TryOnCrafter 是否過(guò)度依賴上游組件的重建質(zhì)量，論文進(jìn)一步進(jìn)行了魯棒性測(cè)試。測(cè)試從兩個(gè)方向展開(kāi)：一類是前景人體相關(guān)誤差，另一類是背景幾何退化。

這些結(jié)果說(shuō)明，TryOnCrafter 并不是把 4D 試衣代理當(dāng)作必須逐像素復(fù)刻的「標(biāo)準(zhǔn)答案」，而是將它作為一種粗粒度、可渲染、時(shí)空一致的幾何指導(dǎo)。即使代理中存在局部錯(cuò)誤，DiT 仍可以結(jié)合源視頻參考、服裝語(yǔ)義和生成先驗(yàn)，對(duì)缺失或模糊區(qū)域進(jìn)行合理補(bǔ)全。背景魯棒性測(cè)試進(jìn)一步驗(yàn)證了這一點(diǎn)。

魯棒性測(cè)試傳達(dá)了一個(gè)很關(guān)鍵的信息：TryOnCrafter 的 4D 試衣代理并不要求完美重建，它更像是一個(gè)穩(wěn)定的空間腳手架。即使腳手架存在局部缺口，模型仍能依靠幾何約束與生成能力完成高質(zhì)量試衣視頻合成。

性能測(cè)試

為了進(jìn)一步分析 TryOnCrafter 的實(shí)際計(jì)算開(kāi)銷，論文對(duì)完整流程進(jìn)行了細(xì)粒度性能剖析。實(shí)驗(yàn)結(jié)果顯示，完整 4D 試衣代理構(gòu)建與渲染總耗時(shí)為 38.9s，峰值顯存為 59.1GB。相比之下，最終的 DiT 視頻生成階段耗時(shí)約 1360.0s，峰值顯存為 68.6GB。這說(shuō)明 4D 試衣代理雖然引入了大量顯式幾何建模管線，但它并沒(méi)有成為該方法的主要性能負(fù)擔(dān)。

更重要的是，4D 試衣代理具有天然的復(fù)用性。當(dāng)用戶希望為同一個(gè)人物和同一件服裝生成不同相機(jī)軌跡時(shí)，系統(tǒng)無(wú)需重新完成全部構(gòu)建流程，只需要重新渲染 4D 試衣代理即可。改變相機(jī)軌跡后的代理重渲染僅需約 14.3s / 20.3GB。這意味著在多視角、多鏡頭、多版本試衣展示場(chǎng)景中，TryOnCrafter 的邊際成本會(huì)顯著下降。

未來(lái)展望

TryOnCrafter 作為首個(gè)面向可控相機(jī)視頻虛擬試衣（CaM-VVT）任務(wù)的統(tǒng)一框架，首次實(shí)現(xiàn)了任意相機(jī)軌跡下的視頻虛擬試衣生成。通過(guò)引入可渲染 4D 試衣代理和代理錨定視頻 DiT 等核心技術(shù)，TryOnCrafter 能夠精準(zhǔn)生成 360 度環(huán)繞、主體重定位和子彈時(shí)間等全新視角的試衣效果。

作為視頻試衣領(lǐng)域從「被動(dòng)跟隨相機(jī)」向「主動(dòng)控制視角」跨越的重要里程碑，TryOnCrafter 為未來(lái)虛擬試衣應(yīng)用的研究開(kāi)辟了全新路徑。

展望未來(lái)，我們將進(jìn)一步探索 4D 試衣代理的實(shí)時(shí)構(gòu)建與渲染效率、更高生成分辨率下的視角一致性、以及更長(zhǎng)時(shí)間序列下的穩(wěn)定性。我們致力于為更多用戶打造更加智能、自由、沉浸式的虛擬試衣體驗(yàn)。

本文出自淘天集團(tuán) - 拍立淘多模態(tài)生成團(tuán)隊(duì)，專注于多模態(tài)內(nèi)容理解和生成算法的技術(shù)探索與應(yīng)用，致力于以領(lǐng)先的算法技術(shù)能力重塑用戶體驗(yàn)、驅(qū)動(dòng)產(chǎn)品創(chuàng)新，并深度賦能電商生態(tài)的多樣化場(chǎng)景。