訓練世界模型，開始從人類的肌肉和腦子里偷師了

允中 發自 凹非寺
量子位 | 公眾號 QbitAI

具身智能數據的競爭，正在從“量大管飽”進入下一關。

過去一年，第一視角視頻成了機器人訓練的主流燃料。人戴上相機做飯、整理桌面、開抽屜，就能產出大量操作樣本。

數據量的問題初步緩解，但一個更深的缺口浮出來了：

這些視頻只記錄了人做了什么，沒有記錄人為什么這樣做，更沒記錄動作執行中大腦和身體如何實時修正。

FaceMind臉譜心智想填的，就是這個缺口。

這家由兩位95后博士創立的公司，提出了一套全新的Ego-NeuroLoop數據范式。

它同時采集四類信號，把人類完成一個動作時“看哪里、準備做什么、肌肉怎么發力、反饋怎么修正”的完整閉環，壓進同一條時間軸。

配套的硬件方案NeuroMatrix負責降低采集門檻，信號處理層NeuroBooster負責把噪聲拉滿的原始數據對齊成模型能“吃”的格式。

△圖片為AI生成

而這一整套思路的起點，來自神經科學里一條被反復驗證的理論：貝葉斯大腦。

貝葉斯大腦：大腦一直在預測世界

神經科學里有一條被反復驗證的理論，叫“貝葉斯大腦”，常和預測處理、自由能原則放在一起討論。

它的核心思想是，大腦不是被動接收信息的容器，它一直在主動預測。基于過去經驗和當前上下文，大腦會對外部世界和身體狀態生成概率化預期，再拿感官反饋去校準。

△圖片為AI生成

你下一秒會看到什么、手伸出去會碰到什么，目標還在不在剛才那個位置，大腦全在提前算。

真實感官輸入回來后，預測和現實一對比，差值就成了預測誤差。誤差推著內部模型往前更新。

拿AI領域的概念類比，大腦本身就在跑一套世界模型。

AI里的世界模型研究環境如何隨動作變化，大腦做的事很像，只不過人類這套系統天然和身體長在一起。視覺、視線、觸覺、本體感覺、肌肉反饋、注意力、誤差信號，全跑在同一條鏈路上。

具身智能想學的，恰恰是這個。

機器人要進入廚房、倉庫、實驗室、家庭這樣的真實場景，光有視覺識別和動作模仿還不夠。

真實世界會滑、會擋、會變、會突然打斷任務。目標怎么選，動作什么時候啟動，偏差出現后怎么修正，失敗了怎么換策略，這些能力單靠一段視頻學不到。

具身智能真正缺的，不是更像錄像機的數據，是更像大腦運行日志的數據

攝像頭拍到了手，但拍不到大腦

過去一年，ego-centric、human-centric數據成為具身智能的主流燃料。

機器人真機數據采集成本高、速度慢、設備貴，場景覆蓋有限。

相比之下，人類第一視角數據的采集門檻低得多，一個人戴上相機做飯、整理桌面、開抽屜、拿工具，就能產出大量原始任務素材。

這類數據能記錄環境里有什么，物體怎么變化，手和物體如何接觸，任務最后有沒有完成。對模型來說，這些都是真實世界操作的基礎材料。

但第一視角視頻有一個天然邊界：它主要記錄人做了什么

• 攝像頭能看到手伸向杯子，卻看不到人為什么先看杯沿
• 能看到杯子被拿起來，卻看不到動作準備何時出現
• 能看到手指接觸物體，卻看不到肌肉發力如何變化
• 能看到任務成功或失敗，卻看不到反饋誤差怎樣觸發下一步修正

現有human-centric數據更像一個行為結果庫，記錄的是動作軌跡和任務結果。

具身智能真正需要學的東西，是行為生成機制——目標如何被發現，注意力如何切換，意圖如何形成，肌肉如何執行，反饋怎么改變動作。

如果大腦是一套預測式世界模型，訓練數據就要盡可能記錄這套模型的運行過程。不只是“人看到了什么、手做了什么”，還要覆蓋“人如何預測、如何行動、如何反饋、如何更新”。

FaceMind臉譜心智想填的就是這個缺口。

這家公司由兩位95后博士陸弘遠、韋怡然創立，早期從端側全模態模型切入，隨后把研究重心轉向更底層的世界模型方向。

△臉譜心智Founder陸弘遠

但他們更關鍵的切入點，是把貝葉斯大腦理論轉譯成具身智能的數據問題。

神經科學認為，大腦通過內部模型預測世界，用反饋誤差更新模型；AI里的世界模型，也想讓智能體理解環境如何隨動作變化。

具身智能要把兩者接起來，就需要一類新數據，以此來記錄人類大腦、身體和環境如何形成閉環

Ego-NeuroLoop就是在這個背景下出現的。

它不是單純多采一點視頻，也不是把人類動作再標一遍標簽。

它要采的是人類完成任務時的閉環過程：人看哪里，什么時候準備動作，肌肉如何啟動，反饋怎樣出現，動作又如何被修正。

貝葉斯大腦里的“預測、誤差、更新”機制，正在借由Ego-NeuroLoop變成機器人可以學習的數據資產。

給大腦和肌肉也裝上攝像頭

Ego-NeuroLoop把人類操作過程拆成四類同步信號：world camera、gaze、EEG和sEMG，分別對應外部環境、注意力、神經狀態和肌肉執行

△圖片為AI生成

其中，world camera記錄環境

桌面上有什么，目標物體在哪，手和物體怎么接觸，任務走到了哪一步。這一層提供的是世界模型的外部輸入

gaze記錄視線

人做動作之前，眼睛往往先到。先看目標，再看可抓取區域，必要時掃一眼障礙物或下一步的放置位置。視線軌跡能幫模型從復雜環境里篩出當前真正相關的信息。

EEG補的則是動作發生之前那段“前奏”。

腦電讀不出完整想法，但動作準備、注意狀態、任務切換、誤差感知這些信號它都能捕捉。

手還沒動，神經系統已經進入準備狀態，這個時間差只有EEG能記錄。

sEMG把動作落到肌肉層面。

手臂、手腕、手指什么時候激活，發力怎么變化，動作修正發生在哪個階段。相比只看手部軌跡，sEMG多給出的是執行力度和控制細節。

四類信號放到同一條時間軸上，一個動作就從一段軌跡變成一條完整鏈路——

目標被發現，注意力聚焦，神經系統進入準備，肌肉開始激活，手接觸物體，反饋回流，力度和軌跡被重新調整。

模型從這類數據里學到的，不只是“人怎么做”，還有“人憑什么做對的”。

先在實驗室畫滿地圖，再把設備做小

數據定義好了，得先采得到。

FaceMind給出的硬件方案叫NeuroMatrix，負責同步采集視覺、視線、EEG、sEMG四類信號。

△圖片為AI生成

這里最大的現實問題，是成本和部署難度。

高精度腦電、肌電和視線追蹤設備往往更適合實驗室環境，通道多、成本高、佩戴復雜，很難直接鋪到真實世界的大規模任務里。

NeuroMatrix的思路，是先用高精度版本建立信號地圖

高精度階段拿到的是完整的腦電、肌電、視線和視覺數據。

系統在這一步分析動作意圖和腦區信號的對應關系，搞清楚哪些頭皮電極通道、哪些肌肉區域、哪些視覺目標之間存在穩定關聯。

地圖畫完之后，硬件設計圍繞關鍵位置收縮，減少電極數量，壓縮傳感器點位，把設備往更輕、更便宜、更容易戴上就走的方向做。

這一步決定數據生產能鋪多遠。

具身智能需要長期、穩定、貼近真實場景的數據供應，少量實驗室級樣本撐不起通用機器人訓練。

采集門檻不降下來，人類閉環操作數據就沒法進入更高頻、更大規模的生產階段。

四路信號，互相兜底

采到的數據還不能直接用，因為這些信號都不干凈。

EEG容易受到電極接觸、頭動、眨眼和環境干擾影響；sEMG會受到佩戴偏移、肌肉串擾和動作幅度影響；gaze可能漂移或短時丟失；視覺數據也躲不開遮擋、模糊和視角變化。

更麻煩的是，多模態數據之間的時間同步問題，原始信號很難直接變成訓練樣本。

FaceMind給出的第二層，是NeuroBooster

它是一個面向神經和身體信號的多模態基座模型，能把粗糙、異步、信噪比低的原始數據，整理成一條模型能消費的閉環時間軸。

一個類比可能更好理解，VLM對齊的是圖像和文本，NeuroBooster對齊的是視覺、視線、EEG、sEMG。

這套系統的關鍵在于模態互補

• EEG信號弱的時候，gaze和sEMG可以補充目標與執行信息；
• sEMG噪聲大時，視覺和EEG可以幫助判斷動作處在哪個階段；
• gaze漂移時，world camera和手部狀態可以把上下文拉回來；
• 視覺被遮擋時，神經和肌肉信號照樣能保留意圖與執行線索。

經過時間對齊、信號配對、增強重建和結構化輸出后，模型拿到的不再是一堆孤立傳感器記錄，而是一條更完整的操作鏈路：看到了什么，注意哪里，準備做什么，如何發力，反饋如何出現，下一步怎樣調整。

數據競爭會進入閉環質量階段

具身智能數據的競爭，過去一直圍繞規模、場景、動作展開。

誰數據量大，誰覆蓋任務多，誰的動作樣本豐富，誰就更有機會訓練出強策略模型。

下一輪競爭的核心指標不一樣了：閉環質量

同樣是拿杯子這個動作，一段普通視頻給模型提供的是軌跡，手從哪里來，到哪里去，杯子最后有沒有被拿起來。

而臉譜心智Ego-NeuroLoop提供的是更細的過程，目標如何被發現，注意力怎樣轉移，動作準備何時出現，肌肉什么時候發力，接觸之后反饋怎樣改變了后續動作。

兩種數據喂出來的模型，能力邊界差在哪？

只學軌跡，模型容易停在表層模仿，擅長復現，給它見過的場景它能照著做一遍，但物體一滑、光線一變、任務被打斷，它沒有內部狀態去判斷偏差出現在哪個環節。

學過閉環過程的模型則多了一層東西：它見過人類在同樣的偏差面前怎么調整發力、怎么重新分配注意力、怎么切換策略，它有機會把這些修正邏輯遷移到自己的決策里。

從這個角度看，Ego-NeuroLoop的意義在于把訓練數據從“行為庫”推向“閉環庫”。

它記錄人類做了什么，也記錄大腦、身體和環境怎么協同把事情做成

機器人缺的世界模型，長在人類大腦里

機器人缺的世界模型，可能藏在人類大腦里。

更準確地說，藏在大腦、身體和環境的連續交互里

貝葉斯大腦理論給出了一個框架：大腦通過內部模型預測世界，拿感官輸入校準預測，用誤差推動模型更新。

具身智能要走向真實操作，需要的是同一套能力。機器人不能只看見世界，還得預測世界；不能只執行動作，還得根據反饋更新下一步動作。

FaceMind的做法，是沿著這個框架從數據端一路鋪到模型端

Ego-NeuroLoop定義了新的數據范式，NeuroMatrix把多模態信號采集的門檻降下來，NeuroBooster把低成本信號對齊增強成模型能用的格式。

模型側也有對應動作，FaceMind此前發布的Looped World Models（循環世界模型），用參數共享的transformer block對環境狀態做迭代式更新，讓世界模型在內部完成多輪修正。

數據側采閉環，模型側跑閉環，兩頭接上了。

這條路線真正在賭的一件事是，機器人要更像人一樣完成任務，瓶頸不只在模型架構，也在訓練數據到底記錄了人類操作的哪一層。

軌跡、結果、成功率，這些是表層。

預測、反饋、修正，這些或許才是控制策略真正生長的土壤。