全球首個！銀河通用新框架僅需人類視頻即可部署，特斯拉蚌埠住了

鷺羽 發自 凹非寺
量子位 | 公眾號 QbitAI

終于，現學現用的風也是吹到了具身智能。

要說這兩年，大模型最重要的變化之一，就是越來越不依賴預訓練一錘定音，部分能力開始留到推理時刻再兌現。

OpenAI o1如此，DeepSeek-R1也是如此。模型推理能力提升，靠的是在應用過程中的持續自我提升。

但機器人不一樣，它面對的是比文本更復雜的物理世界，任意一次誤判都有可能損壞抓取對象。想讓機器人像大模型一樣在部署時進化，行業內一直沒有人做到。

直到今天，這條路線第一次被銀河通用走通了。

視頻鏈接：https://mp.weixin.qq.com/s/Lwo6w_HjR3cYM7ZxbZahXQ

剛剛，銀河通用正式發布全球首個面向具身智能大模型的測試時后訓練框架WAM?TTT（World-Action Model Test-Time Training）。

它首次將Test-Time Training（TTT）范式從NLP和大語言模型，遷移至物理世界的機器人控制。

說人話就是，機器人可以「現學現上崗」。

不過這里的學習，學的不是具體動作，不是要機器人看一遍視頻就學會一個新技能，WAM?TTT重在讓機器人消化理解當前任務。

它會讓機器人先通過人類示范視頻充分了解場景信息，再把這些信息寫入臨時記憶，然后結合原先已有的動作能力完成任務。

這樣既能適應新環境，也能保證原先能力不丟失，實現部署后的連續學習。

自此，具身智能得以開啟屬于自己的后訓練時代。

全球首個具身測試時后訓練框架

要知道，現階段整個具身智能行業都受限于同一核心痛點。

一個機器人在訓練場里學會了搬箱子，精度、成功率都拉滿。可一旦換個環境或者換批箱子，它就立刻擺手不會。

同一項技能，訓練時精通，部署時失靈，這就是學術界常說的部署到真實場景中泛化性衰減。

更麻煩的是，客戶每換一個新的部署點位，都得重新采集數據、重新適配模型。整套流程下來又貴又慢，具身智能壓根無法規模化落地。

WAM?TTT要解決的就是這個問題。

根據官方介紹，它是一套基于原始人類實拍視頻、推理階段完成適配訓練的TTT輕量化框架，低成本且泛化能力強，首次系統性破解了跨場景、高效、規模化部署這道行業難題。

它的能力可以用一句話概括：

WAM?TTT無需重新預訓練，也無需大量機器人軌跡數據和人類動作標注，就能讓機器人在部署階段快速適應新場景、新任務。

聽起來有些抽象，那我們不妨用一個廚師的例子類比。

如果我們把機器人想象成一個已經出師的廚師，從出廠那天起，它就擁有從預訓練階段學來的扎實的基本功。現在顧客走進后廚，希望廚師做一道沒做過的菜，還給它看了教學視頻。

通常一般的機器廚師會逐幀模仿學習，但WAM?TTT不一樣，它會先把顧客的要求寫到一張便簽上，然后調用自己已有的廚藝，再照著便簽把菜做出來。

這張便簽，就是WAM?TTT的核心機制，一塊獨立的小型參數存儲單元fast-weight memory（快速權重記憶）。

具體來說，WAM?TTT的底座是一個預訓練好的世界動作模型（World Action Model，WAM）。

內部由視頻專家和動作專家兩部分組成，前者負責理解當前畫面里發生了什么，后者負責生成對應的機器人動作。二者之間再通過聯合注意力維系通信。

需要注意的是，在WAM-TTT整套流程中，WAM的主體權重全程保持凍結，不會隨著學習過程更新，所有學習操作都只在前面提及的記憶模塊中完成。

整個訓練可分為兩個階段：

• Meta-Training（離線元訓練）階段：

這一步是機器人的出廠設置，團隊借助成對采集的人類和機器人演示數據，通過Key-Value向量對自適應記憶，實現人類視覺線索與機器人行為的對齊。

相當于教會廚師怎么讀懂顧客的便簽，以后碰到新視頻，就能自動理解付諸行動。

• Test-Time（線上測試時訓練）階段：

這一步才是用戶實操階段，需要提供給機器人一段未標注的人類RGB視頻，主WAM會完全鎖死，僅更新輕量化記憶模塊參數。

完成記憶更新后，WAM?TTT就會將學習到的操作邏輯送入相機觀測畫面，模型再輸出機械動作完成任務。

對比傳統架構，WAM?TTT的表現也是一騎絕塵，總體來看實現了四點突破：

第一，大幅降低機器人軌跡數據依賴。

部署階段可擺脫對昂貴人工遙操作數據的需要，比如特斯拉Optimus的訓練數據就長期依賴現場數據采集。在加州弗里蒙特工廠上百人的數據采集團隊中，每人每天要在長達8小時的輪班中重復數百次相同的動作，人力物力成本相當高。

而WAM?TTT僅用未標注的人類視頻即可完成后訓練，成本降低的同時，完成度能夠逼近甚至持平專業遙操作數據。

具體在專門的數據比例消融實驗中，可以發現，當訓練數據由100條機器人軌跡+100條人類視頻組成時，任務平均成功率可達74.1%，已經與全部使用機器人軌跡訓練的效果基本相當。

這意味著，在一定條件下，一段普通人視頻幾乎可以1:1替代一段昂貴的機器人遙操作數據，無疑降低了數據采集成本。

第二，無需人類動作標注。

很多Human-to-Robot學習方法，雖然也使用人類視頻，但仍需要額外完成手部姿態估計等步驟，WAM?TTT則是完全跳過，直接采用自監督學習，讓模型自行理解任務過程。

團隊還專門在實驗中搭了一條對照管線，驗證加了人體姿態估計和動作重定向后，四個任務平均完成度只有28.9%，相比原始WAM-TTT掉了整整43.4個百分點，尤其是在Table Bussing任務上直接從100%掉至33.3%。

第三，不改模型不重新預訓練。

為驗證這一設計，實驗分別與兩種更直接的方案進行了對比。

第一組是WAM-COTRAIN，團隊直接把人類演示數據混進聯合訓練，結果顯示任務成功率只有29.8%，反而低于完全不用人類數據的基線，這也說明了人類視頻并不能簡單作為新增訓練數據加入預訓練流程。

另一個對照組是WAM-LoRA，使用的是更通用的參數高效微調方法，然而在Table Bussing和Swap Place兩個任務上分別只拿到30%和0%，而WAM-TTT是100%和88.9%。

所以相比重新訓練模型或直接修改模型參數，凍結基礎模型、僅通過快速權重完成部署階段適應，不僅成本更低，也能更充分發揮人類視頻的價值。

第四，不發生災難性遺忘。

這一點直接體現在跨環境評測上。

團隊把WAM-TTT分別放在標準訓練場景和未知的真實家庭環境中，保持率約75.6%。

作為對照，同樣利用人類視頻、但僅通過In-Context Learning（ICL）提供上下文信息的，平均完成率則從48.4%驟降至7.1%，性能保持率僅14.7%。

進一步的細粒度測試中，研究團隊分別改變光照條件和物體空間位置，WAM-ICL完成率只有12%～20%，而WAM-TTT還有60%左右。

這足以說明權重適配對保持原有能力穩定、實現跨場景泛化的作用。

這四點連起來看，也分別對應具身智能后訓練的四個難題，包括數據成本、標注成本、訓練成本和持續學習能力，對此WAM-TTT進行逐一擊破。

再看整個機制，聽起來很簡單，但具身智能領域的Test-Time Training，實則要比大模型領域難得多。

銀河通用何以做到“首個”？

且看行業內的具身大模型玩家，比如Google RT系列、Figure、PI，它們大多還是更聚焦在VLA架構本身或者世界模型能力的打磨上。

今年上半年，具身智能整體也才剛剛完成從技術驗證到場景驗證的跨越，任務泛化和數據稀缺仍然是行業公認的兩大瓶頸。

它們難道不想用TTT嗎？想，但是難做到，這中間隔著好幾道坎。

文本世界中，token是離散的，生成錯了那就重新采樣一次，但機器人的動作空間是高維連續的，一個抓取動作的力度和角度差之毫厘，結果可能天差地別。

文本世界對實時性要求不高，機器人卻要跟上物理世界的時間尺度，決策慢一拍就可能錯過抓取窗口。更關鍵的是，機器人的物理交互一旦發生就不可逆。

種種原因下，具身TTT其實是很難實現的，這也是為什么WAM-TTT值得被關注。

大家都在努力把機器人訓練得越來越聰明，行業默認更聰明就需要獲取更多機器人數據，但每多一條數據，就意味著新的成本。

所以WAM-TTT走的是另一種更高效的解法：與其不斷擴大訓練數據，不如讓機器人學會利用部署現場的信息。

這種思路，也和近兩年AI領域一個越來越明顯的發展趨勢高度一致。

過去大家相信Scaling Law，模型能力主要來自更大的參數、更多的數據和更長時間的訓練，但從o1這些推理模型開始，新的共識是模型能力來自推理階段。

訓練一次，部署之后持續成長，WAM-TTT本質就是這一思想的具身場景復現。

在此基礎上，銀河通用并沒有簡單照搬LLM的方法，它既沒有靠上下文走WAM-ICL，也沒有直接蠻力學習人類視頻走WAM-COTRAIN，而是巧妙使用快速權重作為核心支點。

事實證明，銀河通用的思路是正確的，它真真切切打通了這層技術壁壘，TTT首次在具身物理世界發揮了關鍵作用。

補齊具身智能最后一塊拼圖

那么問題來了，這件事對于銀河通用又意味著什么呢？

答案還要從這家公司的技術路線說起。

銀河通用自成立以來，就一直堅持具身多模態大模型這條路徑。2025年，團隊和北大合作在ICCV首次發布WAM，一舉融合了世界模型和VLA兩條主流技術路線，被行業公認是具身智能的下一代技術方向。

2026年，團隊進一步發布AstraBrain WAM系列進階成果，并在后續的LDA-1B模型中，首次將互聯網數據、人類視頻、機器人遙操數據等異構數據統一有效利用，讓WAM第一次具備了清晰的規模化訓練路徑。

如今WAM-TTT補上了最后一塊拼圖。

它是銀河星腦（AstraBrain）持續學習體系中，最新規模化部署技術的關鍵模塊，也是團隊面向世界?動作模型（World?Action Model，WAM）的一項世界級原創性技術創造。

預訓練賦予機器人通用能力，后訓練讓機器人在掌握具體技能之后快速適應新場景，兩者銜接，終于讓內部從預訓練到部署后持續學習的技術閉環第一次完整跑通。

而從行業視角看，WAM-TTT也不只是一次算法的突破，它更是把具身智能帶到了規模化商業部署的門前。

在工信部、國務院國資委聯合印發的《2026年度人形機器人與具身智能實景實訓專項行動》中明確指出，到2026年底，人形機器人產業將率先在一批代表性場景中完成規模化應用驗證與常態化落地。

但前提是，部署成本必須降下來。

WAM-TTT出現得恰到好處，它把后訓練環節的成本從遙操作級壓縮至手機拍攝級，直接踩在了行業剛需上。

相比單點炫技，這類降本增效的基礎設施能力才更能決定商業化落地的速度。

所以WAM-TTT的發布，往小了看，是第一次證明機器人也可以像大語言模型一樣，在部署之后繼續學習、持續成長。

往大了看，它也為機器人規模化落地提供了一條新的技術路徑。

當機器人真正學會在真實世界中不斷積累經驗時，也就意味著銀河通用乃至整個行業，距離2028機器人ChatGPT時刻，又近了一步。

論文鏈接：
https://arxiv.org/html/2607.06988v2