讓 AI 搭3D樂高，為什么這么難？VAST 聯合浙大等高校開源LegoACE

作者 | VAST

讓 AI 學會搭樂高，并不是個簡單的事。

過去幾年，生成式 AI 已經學會了寫文章、畫圖像、做視頻。它們擅長生成"看起來合理"的內容：一段文字是否通順，一張圖片是否逼真，一段視頻是否連貫，很多時候都可以從視覺和語義上判斷。

但當 AI 試圖進入物理世界，問題會變得復雜得多。

一張圖片只要視覺上可信就可以，但一個 LEGO 模型必須真的能搭起來。每一塊磚的位置、朝向和類型都要相互匹配，凸點和凹槽要對得上，局部結構要能連接，整體形狀還要穩定。換句話說，AI 面對的不再只是"生成一個外觀"，而是"生成一個受規則約束的結構"。

這正是LegoACE想回答的問題：

如果不把所有連接規則都人工寫進模型里，AI 能不能像學習語言一樣，從大量真實 LEGO 模型中自己學會搭建規律？

在 SIGGRAPH Asia 2025 上，LegoACE 給出了一種新的思路：不再顯式標注每塊磚的連接點，也不手工設計復雜的拼接規則，而是讓模型從大量 LEGO 模型中學習"什么樣的磚塊組合更可能成立"。

這件事的意義并不只在于讓 AI 會搭樂高。更大的問題是：當 AI 面對分子、電路、建筑模塊、機器人結構這類由基本單元組成、又受到復雜約束限制的對象時，它能否不依賴人工寫死規則，而是從數據中學會現實世界的組合規律？

論文標題：LegoACE: Autoregressive Construction Engine for Expressive LEGO Assemblies

論文鏈接：https://doi.org/10.1145/3757377.3763881

項目主頁：https://xh38.github.io/LegoACE/

作者單位：浙江大學、VAST、清華大學、KAUST、香港大學

AI 會生成內容，

但會"搭東西"嗎？

如果只是讓 AI 畫一輛車，它可以畫出車輪、車身、車窗和車燈。只要圖像看起來像車，結果就已經足夠有說服力。

但如果要讓 AI 生成一個真正由 LEGO 磚塊組成的車，難度就完全不同了。

每一塊磚都不是自由漂浮的像素，而是一個有明確幾何形狀、連接方式和空間朝向的實體。模型不僅要知道"這里應該有一個車輪"，還要知道車輪對應什么 LEGO 零件、應該放在哪里、如何朝向、怎樣與周圍磚塊連接，以及整個結構是否真的能拼起來。

這類問題可以看作一種 結構化生成：對象不是連續的圖像，而是由一組離散部件組成；部件之間不是隨意擺放，而是受到連接、支撐、方向、空間占用等規則約束。

LEGO 是一個很好的例子，因為它足夠大眾：幾乎每個人都知道它是什么；但它又足夠復雜：真正搭建一個模型時，背后存在大量細致的幾何和結構規則。

因此，讓 AI 搭 LEGO，并不是一個簡單的玩具問題。它實際上觸及了生成式 AI 的一個更深層挑戰：

AI 能不能從"生成看起來像的東西"，走向"生成真的能成立的結構"？

過去的思路：

把連接規則寫給 AI

在 LegoACE 之前，相關方法通常會嘗試顯式告訴 AI LEGO 磚塊之間如何連接。

這聽起來很自然。既然 LEGO 的凸點和凹槽有固定位置，那就把這些連接點標出來；既然不同磚塊之間有拼接規則，那就把這些規則寫進系統。這樣，AI 在生成時就可以參考這些人工定義的連接關系。

問題在于，這條路線很難擴展。

一種常見做法是基于體素建模。模型需要先把 LEGO 結構轉成帶連接關系的三維體素表示，再用生成模型進行學習和生成。但這通常要求為每種磚塊人工標注連接點。對于少量規則磚塊來說，這或許還能接受；但真實 LEGO 零件的形狀和類別非常豐富，一旦磚塊數量增加，人工標注和規則維護的成本就會迅速上升。

另一類方法嘗試把 LEGO 模型寫成類似自然語言的文本序列，再微調大語言模型進行生成。代表性工作如 BrickGPT。它看起來繞開了連接點標注，但代價是只能使用較規則的方塊類零件，因為這些磚塊的連接關系天然比較固定。如果要引入車輪、窗戶、門、斜面、裝飾件等更豐富的不規則零件，如何設計合適的文本表示和連接規則仍然是一個難點。

也就是說，過去方法的核心瓶頸并不只是模型能力，而是表示方式本身：

只要系統依賴人工顯式建模連接關系，它就很容易被磚塊類型、標注成本和規則復雜度限制住。

LegoACE 的思路：不把規則寫死

而讓模型學會規則

它不再要求人工標注每塊磚的連接點，也不顯式告訴模型"哪塊磚能連哪塊磚"。相反，它把 LEGO 模型看作一個按順序搭建的過程：已經放好一部分磚塊之后，模型預測下一塊磚應該是什么類型、放在什么位置、采用什么朝向。

這和大語言模型有一個很自然的類比。

人們并沒有把所有語法規則、搭配習慣和表達方式逐條寫進語言模型里。模型通過閱讀大量文本，逐漸學會了哪些詞更可能接在一起、什么樣的句子更自然、什么樣的表達更符合上下文。

LegoACE 做的事情類似，只不過學習對象從文字變成了 LEGO 結構。

給定前面已經搭好的磚塊序列，模型需要預測下一塊磚。它會在大量訓練數據中反復看到：某些磚塊通常以怎樣的方式組合，某些零件更適合出現在什么位置，什么樣的局部結構更穩定，什么樣的搭建順序更常見。

在這個過程中，連接關系并沒有被人工寫進模型，而是被模型從數據中隱式學會。

這并不是說規則不存在，而是規則的來源發生了變化：

過去是人先總結規則，再把規則交給模型；

LegoACE 則是讓模型直接從真實樣本中學習規則。

LegoVerse：讓模型從足夠多的

搭建樣本中學習

如果要讓模型自己學習搭建規律，數據規模就變得非常關鍵。

為此，研究團隊構建了一個新的大規模 LEGO 數據集LegoVerse。相比以往規模較小、磚塊類型有限的數據集，LegoVerse 覆蓋了更豐富的模型和零件：

55,000 個獨特 LEGO 模型；

9,314 種磚塊類型；

涵蓋建筑、車輛、人物、飛船、動物、家具等多個類別；

支持 48 種軸對齊旋轉變換。

這個數據集的意義在于，它讓模型不再只能學習少量規則方塊的組合方式，而是有機會接觸真實 LEGO 設計中更加多樣的零件和結構。

這也是 LegoACE 能夠擺脫顯式連接點標注的重要前提：

如果數據足夠豐富，模型就可以從大量樣本中觀察到不同磚塊如何組合，而不是依賴人工逐一標注每個連接位置。

把 LEGO 模型變成"句子"

要讓 Transformer 生成 LEGO，第一步是把 LEGO 模型轉換成一種類似語言的序列。

在語言模型里，一句話由一串 token 組成；在 LegoACE 中，一個 LEGO 模型也被表示為一串 token。區別在于，語言 token 表示詞或子詞，而 LEGO token 表示磚塊的空間信息和類型信息。

LegoACE 使用了 LEGO Native Tokenization，把每塊磚編碼成三個 token：

位置 token：表示這塊磚放在哪里；

旋轉 token：表示這塊磚采用什么朝向；

類型 token：表示這塊磚是哪一種零件。

整個 LEGO 模型則按照固定的空間順序進行序列化，從而被轉換成一個可以由自回歸模型處理的 token 序列。

這里最關鍵的一點是：類型 token 只是區分"這是什么磚塊"，并不顯式編碼這塊磚有哪些連接點、哪里能拼、哪里不能拼。也就是說，模型并沒有被直接告知磚塊的幾何連接規則。

它需要自己從訓練數據中學會：某種類型的磚塊，通常在什么位置、什么方向下，會和哪些磚塊合理組合。

在模型結構上，LegoACE 基于 decoder-only Transformer，也就是和許多大語言模型類似的自回歸生成范式。給定前面已經生成的磚塊序列，模型預測下一個 token，并逐步生成完整的 LEGO 模型。

這種設計讓 LEGO 生成問題被轉化為一個更通用的問題：

能否像生成句子一樣，生成一個由離散部件組成的三維結構？

兩種條件生成：

從文字和圖像出發搭 LEGO

LegoACE 不只支持無條件生成，也支持從不同輸入條件出發生成 LEGO 模型。

第一種是文字條件生成。用戶輸入一句描述，例如一輛車、一座建筑或一個動物模型，系統通過 CLIP 提取文本語義，再指導模型生成相應的 LEGO 結構。

第二種是多視角法線圖條件生成。給定目標物體的多視角法線圖，系統通過 DINOv2 提取視覺特征，再生成對應的 LEGO 模型。這相當于讓模型根據一個三維物體的外觀和形狀線索，直接預測一個可由 LEGO 磚塊組成的結構。

為了增強模型從局部信息推斷完整結構的能力，LegoACE 還在訓練中引入了數據增強：隨機截取模型的一段子序列，渲染對應的法線圖作為條件輸入，讓模型學習如何從部分結構恢復完整模型。

在訓練完成后，研究團隊進一步使用DPO（Direct Preference Optimization）進行對齊。對于同一個輸入，模型生成兩個候選結果，再根據 Chamfer Distance 判斷哪個更接近真實結構，并將更好的結果作為偏好樣本，用于進一步優化模型。

這些技術細節背后的目標其實很直接：

讓模型不只是"會生成磚塊序列"，而是能根據文字或圖像條件，生成更符合目標對象形態的 LEGO 結構。

結果：更豐富的零件

更高的生成質量

和基于體素擴散的 LEGO 生成方法相比，LegoACE 在訓練和推理效率上都有明顯優勢。由于它不需要把每塊磚展開成大量體素，也不需要顯式處理復雜連接點，整個生成過程更加輕量。

更重要的是，LegoACE 能使用更加豐富的磚塊類型。

這直接帶來了視覺表現力上的差異。

在文字條件生成中，與 BrickGPT 這類主要依賴規則方塊的表示方式相比，LegoACE 可以自然地使用車輪、方向盤、門窗、裝飾件等專用零件。因此，當生成車輛、建筑或家具時，它不必用普通方塊去"模擬"這些部件，而是可以直接選擇更合適的 LEGO 零件。

在法線圖條件生成任務上，論文對比了一條更間接的路線：先使用 3D 生成或重建方法從圖像得到 mesh，再通過 Blender 插件將 mesh 轉換為 LEGO 方塊模型。相比之下，LegoACE 可以直接從法線圖端到端生成 LEGO 結構，因此在整體形態和局部細節上都更貼近目標對象。

從生成結果來看，LegoACE 在建筑、車輛、動物、人物等類別上都能產生較完整的 LEGO 模型。模型不僅能夠捕捉對象的整體輪廓，也能在適當位置使用專用零件，提高生成結果的表現力。

這些結果說明，隱式學習連接關系并不一定會削弱生成能力。相反，當數據規模和表示方式足夠合適時，它可能讓模型擺脫人工規則的限制，從而覆蓋更豐富的零件和結構。

為什么這件事不只是 LEGO？

如果只把 LegoACE 看作一個 LEGO 生成系統，它當然已經足夠有趣。但更值得討論的是，它背后反映了一類更普遍的問題。

很多真實世界對象都可以被看作"受約束的基本單元如何組合"：

分子由原子和化學鍵組成；

電路由元件和連接關系組成；

建筑可以由模塊化構件組成；

機械結構由零件和裝配關系組成；

機器人形態也可以由關節、連桿和功能模塊組成。

這些對象的共同特點是：

它們不是連續圖像，而是離散結構；

它們不是隨意組合，而是受到規則約束；

它們的規則往往很多、很細、強依賴上下文，很難完全手工寫清楚。

傳統方法往往會先定義規則，再讓模型在規則內生成。這種方式可靠、可控，但當對象類型變復雜、部件種類變多時，規則設計和標注成本會迅速上升。

LegoACE 展示了另一種可能：

不一定先把所有規則寫出來，而是讓模型從大量真實結構中學習哪些組合更自然、哪些連接更可能成立。

這和大語言模型的發展有某種相似性。

語言當然有語法，但現代語言模型并不是靠人類逐條寫入語法規則才學會表達。它們通過大量文本樣本，學習到詞語之間、句子之間、上下文之間的統計規律。

LegoACE 則把這種思路帶到了三維結構生成中：

LEGO 磚塊就像一種結構化語言，磚塊類型、位置和朝向構成了"詞"，搭建順序構成了"句子"，最終模型生成的是一個具有空間結構和連接邏輯的"作品"。

從這個角度看，LEGO 只是入口。真正值得關注的是：

當 AI 走向物理世界和復雜結構設計時，它能否像學習語言一樣，學會現實世界中那些難以完全寫清楚的組合規律？

從"內容生成"到"結構生成"

今天的大多數生成式 AI 應用，仍然主要集中在內容層面：文字、圖像、音頻、視頻。這些內容的評價標準通常偏感知和語義：是否自然、是否清晰、是否符合描述。

但未來越來越多的 AI 任務會進入結構層面。

結構生成的要求更高。它不僅要像，還要能成立；不僅要符合語義，還要滿足約束；不僅要生成一個結果，還要保證部件之間的關系合理。

這也是 LegoACE 的高層意義所在。它不是簡單地把 LLaMA 用在 LEGO 上，而是在探索一個更大的問題：

面對由離散部件組成、并受到復雜規則約束的對象，AI 應該如何生成？

一種方式是繼續手工定義規則，把規則寫得越來越細。

另一種方式是利用大規模數據，讓模型自己學習規則。

更現實的未來，可能是兩者結合：模型負責學習復雜的組合偏好和設計模式，顯式約束負責保證物理可行性和安全邊界。

LegoACE 站在了這個方向上。它證明，對于 LEGO 這樣具有明確連接邏輯和豐富部件類型的對象，模型可以在不依賴顯式連接點標注的情況下，從數據中學習到有效的搭建規律。

這為更廣泛的結構化生成任務提供了啟發。

邊界：隱式學習并不等于沒有約束

當然，讓模型隱式學習規則，并不意味著規則消失了。

對于 LEGO 這樣的物理結構，連接是否合法、整體是否穩定、模型是否真的能夠拼接，仍然是必須面對的問題。LegoACE 的生成結果雖然展現了很強的擴展性和表現力，但由于缺少顯式結構約束，在訓練數據不足或遇到罕見組合時，仍可能出現無法實際拼接的問題。

這也是后續工作需要繼續解決的方向。

一方面，可以繼續擴大數據規模，讓模型看到更多真實搭建樣本；另一方面，也可以將隱式學習到的生成能力與顯式幾何檢查、物理約束、裝配驗證結合起來，使生成結果既豐富，又可靠。

因此，LegoACE 并不是在否定規則，而是在重新思考規則與學習之間的關系：

復雜規則不一定都要由人手工寫出，也可以通過數據被模型學習；但在真正進入物理世界時，學習到的規則仍然需要和顯式約束共同發揮作用。

結語

LEGO 是一個有趣的切入點，因為它既熟悉又復雜。每個人都知道 LEGO 可以拼搭出各種模型，但真正讓 AI 學會搭 LEGO，并不只是讓它生成一堆磚塊，而是讓它理解磚塊之間如何組合、連接和支撐。

LegoACE 的價值不只在于生成 LEGO 模型。它更像是一個觀察窗口，讓我們看到生成式 AI 可能從"內容生成"走向"結構生成"。

過去，我們常常把復雜規則寫給 AI。

現在，一個新的方向正在出現：讓 AI 從大量真實樣本中自己學會規則。

從 LEGO 到分子、電路、建筑和機器人結構，這類問題會越來越重要。因為現實世界中的許多對象，本質上都不是孤立的形狀，而是由基本單元在復雜約束下組合而成的結構。

LegoACE 提出的思路說明，當 AI 面對這樣的結構化世界時，它不一定只能被動接受人工定義好的規則。它也可以通過數據，學習什么樣的組合更自然、什么樣的結構更可能成立。

這或許正是生成式 AI 走向真實世界時必須跨過的一步。

會議推薦

企業級 Agent 落地，繞不開 4 個真實的工程問題！如何在 Agent 安全性和可用性之間找到平衡點？Agent 需要什么樣的記憶系統才能真正理解上下文？如何通過算法壓榨實現智力增量與成本控制的極致平衡？多 Agent 協作，如何做到可觀測、可治理、可控制？6.26-27 AICon 上海站，國內頭部公司的 Agent 實踐，一次說透。

今日薦文

你也「在看」嗎？