Science Robotics｜一個人像操縱提線木偶一樣，同時控制多個機器人

一個人，同時操控三臺完全不同的機器人，讓它們協(xié)作搬運一塊白板穿過門框——一臺負責推，一臺負責拉，第三臺負責"看路"提供視野輔助。

這是慕尼黑工業(yè)大學團隊近日發(fā)表在國際頂級期刊Science Robotics上的真實演示。

他們提出了一種基于異中心（allocentric）視角的多機器人遙操作范式，讓操作者不再"鉆進"機器人的身體里，而是像操縱提線木偶一樣，從上帝視角俯瞰全局、同時控制多臺機器人。

實驗結果十分亮眼：在可并行化的運動任務中，這種新范式比傳統(tǒng)第一人稱操控快了84%；在態(tài)勢感知任務中快了50%。更關鍵的是，當允許操作者在兩種模式間自由切換時，系統(tǒng)可用性得分達到了最高。

01.

換個視角：從"靈魂附體"到"木偶師"

傳統(tǒng)的機器人遙操作，本質上是一種自中心（egocentric）控制——操作者通過VR頭盔"看到"機器人眼中的世界，用自己的手臂動作驅動機器人的手臂，仿佛靈魂附體到了機器人身上。這種方式對精細操作很友好，但有一個致命缺陷：當你需要同時控制多個機器人時，只能在不同機器人之間反復切換視角，每次切換都要在腦中重新建立空間關系，認知負荷極大。

認知科學的研究早已表明，人腦處理空間信息有兩種模式。一種是自中心的，比如"書在我前面"；另一種是異中心（環(huán)境中心）的，比如"書在臺燈和筆記本之間"。后者與海馬體和內側顳葉密切相關，具有類似地圖的結構，不依賴于觀察者自身的位置和朝向。研究還發(fā)現，當心理場景越復雜，大腦越傾向于切換到異中心表征，而那些能靈活組合兩種表征的人在導航任務中表現最好。

這篇論文的核心思路就是：既然大腦本身就具備從"上帝視角"理解空間的能力，為什么不把這種認知能力直接搬到機器人遙操作中？

具體來說，他們將所有機器人的感知數據（RGBD深度相機獲得的點云）融合到一個統(tǒng)一的虛擬重建場景中。操作者戴著VR頭盔，可以在這個虛擬場景中自由移動視角，俯瞰全局，然后用手去"抓住"機器人的虛擬模型來控制它們——就像木偶師操縱提線木偶一樣。一只手控制一臺機器人，兩只手就能同時控制兩臺，甚至可以用一只手同時操控多個末端執(zhí)行器。

與傳統(tǒng)的無人機集群式俯瞰監(jiān)控不同的是，這套系統(tǒng)不僅僅是"看"，而是支持對高自由度機器人（如44自由度的人形機器人REEM-C、22自由度的PR2、17自由度的TOMM）進行精細的直接操控。操作者可以自由調整自己的觀察角度和縮放比例，在全局策略和局部操作之間無縫過渡。

02.

實驗數據：快了84%，而且操作者更喜歡

為了驗證這一范式的有效性，研究團隊設計了一套系統(tǒng)的用戶研究。

仿真研究招募了15名參與者，進行了三組實驗。第一組是運動任務：參與者需要引導兩臺模擬機器人各通過三個檢查點。結果顯示，使用異中心模式，中位完成速度為每分鐘2.7個檢查點，而自中心模式僅為1.5個，提速84%（P < 0.001）。背后的原因很直接——異中心模式下，參與者有48%的時間在同時控制兩臺機器人，而自中心模式下只能交替操作，機器人利用率僅為42%。

第二組是態(tài)勢感知任務：兩臺機器人分別面對一面墻，墻上按鈕隨機亮起需要即時按壓。異中心模式下每分鐘正確按壓3.7個按鈕，自中心模式為2.5個，提速50%（P ≤ 0.001）。

但異中心模式并非萬能。第三組姿態(tài)匹配實驗中，參與者在沒有視覺反饋的情況下控制機器人末端執(zhí)行器去匹配目標姿態(tài)。結果自中心模式的中位位置誤差為11厘米，而異中心模式為24厘米——自中心模式精度高出53%。這說明第一人稱視角確實能讓操作者更好地"體化"機器人，建立更精確的運動學內部模型。

主觀問卷數據同樣有意思。使用異中心模式時，參與者報告了顯著更好的態(tài)勢感知（"我對整體情況有良好的把握"中位回答為"同意" vs 自中心的"中立"）和更高的系統(tǒng)可用性（SUS評分73 vs 58）。但自中心模式的化身感（embodiment score）顯著更高（8.3 vs 2.4分），參與者更覺得機器人是"自己身體的一部分"而非工具。值得注意的是，兩種模式下操作者的主觀能動感（sense of agency）沒有顯著差異，說明即使從外部視角控制，操作者依然覺得"是我在操控"。

最核心的發(fā)現來自真實機器人研究（n=6）。在一個模擬餐廳場景中，參與者操控PR2和REEM-C完成清理桌面、取送訂單等復雜任務。當允許自由切換模式時，參與者在運動階段78%的時間選擇了異中心模式，而在操作階段95%的時間選擇了自中心模式（P = 0.031）。這種任務依賴的模式切換行為，直接驗證了兩種范式的互補性。混合模式的SUS評分達到了78分（82百分位），高于任何單一模式。

03.

木偶師范式打開了什么新可能

除了速度和效率的提升，異中心遙操作還開辟了一個全新的動作空間——那些本質上需要多機器人同時協(xié)調才能完成的任務。

研究團隊用專家操作者演示了四個協(xié)作場景：兩臺機器人協(xié)同搬運白板通過門框；兩臺機器人合力搬運大桌子轉彎；三臺機器人配合將超大包裹搬上貨架，最后一步操作者甚至用一只手同時控制了三臺機器人的六個末端執(zhí)行器推動包裹就位；三臺機器人在工業(yè)場景中同時操作四個閥門，其中兩個需要同步轉動。這些任務用傳統(tǒng)的逐臺切換方式根本無法完成，因為它們要求多個動作在時間上嚴格同步。

在技術實現上，整套系統(tǒng)基于ROS2和Unity3D構建。每臺機器人提供RGBD視頻流（640×480@30fps），通過GPU加速轉換為點云并融合到統(tǒng)一虛擬場景中。操作者通過HTC Vive Pro Eye頭盔和Valve Index手柄進行交互。整體控制采用基于二次規(guī)劃（QP）的全身運動控制策略，并集成了電子皮膚傳感器提供的力反饋和接近感知來實現主動柔順控制和碰撞避免。每臺機器人約占用40Mbit/s帶寬，在千兆以太網和Wi-Fi 5網絡下即可穩(wěn)定運行。

當然，這套系統(tǒng)也有局限。點云重建的視覺保真度不如直接的RGB相機流，這可能是真實機器人實驗中自中心模式可用性評分反超的原因之一。此外，多相機的計算和通信開銷在更大規(guī)模部署時仍是挑戰(zhàn)，系統(tǒng)對延遲的魯棒性也需要進一步研究。

但論文的結論非常明確：異中心遙操作不是要取代自中心模式，而是為其提供互補。就像人腦會根據任務復雜度動態(tài)切換空間認知策略一樣，最優(yōu)的遙操作系統(tǒng)應當允許操作者在兩種模式間無縫切換——需要精細操作時"鉆進"機器人，需要全局協(xié)調時"飛出來"俯瞰。

一個操作者，多臺機器人，一根無形的"提線"連接兩個世界。這或許就是未來人類與機器人協(xié)作的樣子。

論文鏈接：

https://www.science.org/doi/10.1126/scirobotics.adz7130