機器人也開始修煉「見聞色」，星塵智能發布具身基座模型 Lumo-2，讓動作更快更準了

7 月 15 日，具身智能創業企業星塵智能發布第二代具身基座模型 Lumo-2，以及面向長期人機共處的物理 AI 智能體 Philia。

在星塵智能的技術框架中，這兩項發布分別對應「AI 模型」與「具身 OS」，再與其繩驅機器人本體結合，構成公司所強調的「AI 模型—具身 OS—繩驅本體」三層體系。在這個體系中，具身基座模型 Lumo-2 試圖改善機器人理解物理變化、預測未來并生成動作的能力，物理 AI 智能體 Philia 則負責把模型、記憶、交互、導航和多個機器人組織成一套長期運行的系統。

鑒于具身智能技術多少有點晦澀，這里不妨打個比方：在動漫作品《海賊王》里，有一項能力叫「見聞色霸氣」，這種能力可以幫助使用者感知其他的存在、情緒與行動意圖；更高級的使用者甚至可以看到短暫的未來。

Lumo-2 這個模型的核心不同，有點類似于「見聞色」，能夠根據當前的視覺觀察，機器人自身狀態，語言指令和過去一段時間的動作歷史，來推測動作目標最可能出現的物理變化，做概率性的短期物理預測，進而幫助動作的執行。

在行動之前，先預測世界會怎樣變化

星塵智能將 Lumo-2 稱為「家庭隱式世界—動作模型」，英文為 Latent World-Action Model。

從實際展示來看，Lumo-2 覆蓋了超過 22 項家庭任務，包括接住滾落的球、將杯子放到旋轉杯架上、煎雞蛋并顛鍋翻面、稱取 500 克小米、磨粉制作咖啡、調制飲品、給禮盒打蝴蝶結、整理行李箱并拉上拉鏈、熨燙和懸掛衣服等。

這些任務看起來都屬于「家務」，對機器人能力的要求卻并不相同。

接球和抓取滾動雞蛋需要理解物體運動趨勢；倒水、煎蛋和洗碗要求判斷任務進行到了哪個階段；行李裝箱和制作咖啡包含較長的動作鏈條；蝴蝶結、拉鏈、茶包等任務，則對雙手協調和精細控制提出了更高要求。

傳統 VLA 模型（視覺--語言--動作模型）通常根據視覺觀察和語言指令直接輸出動作。機器人看到杯子，收到「把水倒進茶壺」的指令，模型便生成機械臂接下來的一段軌跡。

這種技術方案也比較成熟，不過也容易產生一種「反射式」局限：模型學習了某種視覺輸入通常對應什么動作，卻不一定明確理解，這個動作將令環境發生怎樣的變化。

Lumo-2 會在觀察與動作之間加入了一層「潛在世界動態」，模型先在壓縮的隱空間中預測與任務有關的未來變化，再根據這份未來變化生成動作。

這個預測并非生成一段完整視頻，因為完整的視頻預測需要重建大量像素，其中包括背景、光線、紋理等與控制關系有限的信息，需要的算力成本也相對較高。Lumo-2 試圖保留的預測是與行動有關的物理變化，例如物體將向哪里移動、容器是否仍在傾倒、手與物體將發生怎樣的接觸，以及任務即將進入哪個階段。

可以把它理解為一份面向行動的「未來草稿」。

這讓 Lumo-2 位于 VLA 和完整視頻世界模型之間：它保留了世界模型「先預測后行動」的思路，又將預測限制在更輕量、更接近控制需求的潛在空間里，星塵智能發表的論文將這一過程稱為 latent reasoning 隱式推理。

星塵智能的上一代 Lumo-1 更多依賴顯式文本推理，將復雜任務拆成文字步驟。文本規劃便于解釋，不過文字有自身的局限性，很多信息無法通過文字精準描述，面對快速連續控制時卻存在推理延遲和表達容量上的限制。Lumo-2 將這部分推理轉移到隱空間，希望在減少 token 生成的同時，捕捉更加連續的時空變化。

在倒水任務中，Lumo-2 的優勢可以直觀體現，因為透明的水倒出之前和倒完之后，單幀圖像可能非常相似；機器人只看當前畫面，很難判斷應該繼續傾倒，還是將容器放回桌面。

Lumo-2 因此引入一段短期動作歷史，讓模型結合此前做過什么，判斷當前處于哪個階段。這相當于為策略增加一種緊湊的「動作記憶」，避免單幀觀察造成的狀態混淆。

Lumo-2 的另一項關鍵變化，是重新處理動作表征。機器人動作通常是一組連續信號，例如機械臂位姿、旋轉角度、速度和夾爪開合程度。過去不少模型會將這些信號壓縮成動作 token，訓練目標主要是盡可能準確地還原原始軌跡。

但星塵智能認為，動作還原得準確，并不必然意味著實際控制效果更好。

一個動作編碼器可能非常擅長保存低層信號細節，卻沒有理解動作與物體、任務和語言之間的關系。模型在訓練集上的重建誤差很低，真正進入新環境后仍可能表現不穩定。

這就是為什么一些具身智能機器人在實驗室或者固定場景的演示里表現優異，但進入到了真實家庭或者工廠場景就不知所措的原因。
為此，Lumo-2 采用三階段漸進式訓練。

第一階段先讓動作與視覺世界變化對齊。模型同時觀察前后兩個時刻的畫面和對應動作，從視覺變化中篩選與物理運動有關的信息，并用動作反過來約束視覺表示。這樣可以減少光照變化、背景擾動等無關因素對世界動態表示的影響。

第二階段將動作進一步與視覺和語言對齊。動作 token 除了記錄位移、旋轉和夾爪狀態，還需要逐漸具有「拿起杯子」「繼續傾倒」「將物品放入背包」等語義關系。訓練任務包括動作描述、動作預測、世界動態預測，以及判斷動作與當前視覺和指令是否匹配。

第三階段再把視覺語言數據、互聯網視頻、第一人稱人類視頻和機器人數據放在一起聯合訓練，讓模型同時學習世界知識、物理變化和動作生成。

這套流程背后的判斷邏輯是：動作應當和圖像、語言一樣，被當作基座模型中的一種核心模態，而不是在視覺語言模型末端臨時增加的輸出接口。

為滿足實時控制需要，Lumo-2 還采用分塊自回歸生成，一次預測一組動作 token，而非逐個生成。Lumo-2 的技術論文顯示，在單張 RTX 5090 上，其端到端延遲由約 253.66 ms 降至 93.53 ms。

在實驗中，團隊將真實任務劃分為時序推理、物理理解、動態場景、長流程、高精度和靈巧操作等類別。根據論文數據，Lumo-2 在這些任務中整體優于 π0.5 和 Fast-WAM 等基線；在未見語言指令和未見物體條件下，也表現出更高的任務成功率。

具身智能開始進入「系統工程」階段

具身基座模型 Lumo-2 解決的是機器人怎樣完成任務，物理 AI 智能體 Philia 關注的點是用戶在使用具身智能機器人時怎么獲得良好的體驗。
雖然具身智能技術還在探索期，幾乎沒有什么 C 端用戶，考慮用戶體驗還為時過早，但未雨綢繆嘛，先考慮的有先發優勢。

目前多數機器人仍然圍繞單次技能調用設計，用戶通過特定 App 或控制臺下發命令，一臺機器人對應一套軟件和賬戶，執行結束后，系統對用戶偏好、歷史任務和其他機器人通常沒有連續認知。

Philia 希望將機器人重新定義為一個智能助理能夠調用的「物理執行者」。

用戶可以觸達的最上層是飛書、微信、語音和網頁等用戶界面；中間層是 Agent 控制平面，負責理解意圖、調用記憶、拆解任務、選擇機器人和匹配能力；底層則是每臺機器人的本地運行時，負責感知、導航、模型推理、軌跡執行和安全控制。

在這個結構中，Agent 決定「做什么」，機器人本地系統負責「怎樣做」。

連接兩者的關鍵，是 Robot Gateway，也就是機器人網關。每臺機器人通過網關公開一組標準能力，例如觀察場景、執行操作、導航、播報、查詢狀態和取消任務。

這種設計與軟件 API 類似：底層實現可以持續替換，只要對外接口保持穩定，上層交互、記憶和任務系統便不需要重新開發。
例如，用戶在飛書中說「把玩具裝進書包」，智能體 Philia 可以先確定哪臺機器人具備對應能力，再調用本地部署的 Lumo-2 背包裝填策略。未來

模型升級后，只需替換底層策略，用戶面對的助理身份和交互方式仍然保持連續。

長期記憶是 Philia 與普通機器人控制系統的重要區別。比如說，用戶此前告訴系統，自己早餐通常吃三明治和濃縮咖啡，之后用戶只需說「把我平時早餐吃的食物放進托盤」，Philia 便可以從記憶中找到相關偏好，再結合機器人當前看到的桌面，選擇三明治作為目標。

Philia 還支持將多臺機器人組織在同一個助手身份下。用戶可以同時下達「Alice 整理桌面，Bob 提起垃圾袋」這樣的命令，系統分別解析機器人名稱、能力和任務，將指令發送給不同網關，并獨立追蹤執行狀態。

從用戶視角看，自己始終在和同一個助理交流；多臺機器人相當于這個助理能夠調用的不同身體。這種統一身份和多本體設計，比「每臺機器人擁有一個獨立 App」更接近未來家庭設備生態，也意味著智能體可能逐漸從單個硬件中脫離出來，成為跨設備存在的服務層。

Lumo-2 與 Philia 同時發布，呈現了兩條相互補充的技術路線。

Lumo-2 繼續向下深入：研究機器人如何通過隱式世界動態理解物理變化，利用更多數據，并生成更穩定的動作。

Philia 則向上擴展：研究怎樣將操作模型、導航、記憶、交互和多臺機器人整合為一個能夠長期服務用戶的系統。

如果以智能手機為例的話，一部智能手機的使用體驗，一方面是硬件水平，性能好不好，屏幕靚不靚，影像強不強；另一方面是系統優化，流暢與否，省不省電，聰不聰明等等。

星塵智能發布的兩個技術成果大概就是分別對應模型能力與系統體驗，也就是說，起碼在技術上，具身智能開始進入「系統工程」階段，機器人進入家庭，一段漂亮的演示視頻已經遠遠不夠打動人了，一套可以持續升級、可以被打斷、能夠記憶，也能夠對真實世界負責的完整系統才是準入門檻。