Neuron：實(shí)時強(qiáng)化反饋在感覺受限時提升人機(jī)接口連續(xù)控制

認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息

Title:Real-time reinforcement for human-machine interface control

發(fā)表時間:2026-6-15

發(fā)表期刊:Neuron

獲取原文:

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

引言

康復(fù)訓(xùn)練、虛擬現(xiàn)實(shí)、假肢控制、精密力操縱——這些場景的共同點(diǎn)：用戶要持續(xù)發(fā)出運(yùn)動命令去追蹤外部目標(biāo)，而視覺或觸覺反饋往往不完整：被遮擋、噪聲干擾、傳輸延遲、空間分辨率有限。約 50–80% 的卒中患者伴隨不同程度的感覺缺損，進(jìn)一步壓低了反饋的可用度。所以發(fā)展輔助性反饋策略一直是人機(jī)接口和神經(jīng)康復(fù)的核心目標(biāo)。

經(jīng)典強(qiáng)化學(xué)習(xí)范式通常在動作結(jié)束后才給二元"成功 / 失敗"信號，也就是動作完成時才知道結(jié)果。這種端點(diǎn)反饋在離散選擇任務(wù)里效果不錯，但在連續(xù)追蹤里就顯得尷尬——一次失敗的軌跡里到底哪一段出了問題，操作者很難歸因。既往在健康人和卒中患者中的研究也確實(shí)顯示，連續(xù)任務(wù)里端點(diǎn)反饋對訓(xùn)練期和保持期都沒有顯著收益。歸因困難之外，端點(diǎn)反饋對感覺受限條件下的指導(dǎo)價值也有限：動作已經(jīng)完成，實(shí)時修正無從下手。

這組研究想測的是：把"成功 / 失敗"信號搬到任務(wù)進(jìn)行中實(shí)時掛出來，讓操作者每時每刻都知道"當(dāng)前這一刻過沒過線"——這種"實(shí)時強(qiáng)化反饋"能不能改善連續(xù)控制？收益是否依賴感覺反饋質(zhì)量？能不能跨接口、跨感覺模態(tài)、跨患者群體復(fù)制？為此作者設(shè)計(jì)了一套統(tǒng)一任務(wù)，并系統(tǒng)操控視覺與觸覺反饋的完整度，從 3 檔到 6 檔遞進(jìn)，把"封頂效應(yīng)"這一常見替代解釋也排除掉。

實(shí)驗(yàn)設(shè)計(jì)與方法邏輯

全部 5 個實(shí)驗(yàn)共用一個 7 秒光標(biāo)追蹤任務(wù)：屏幕上一個移動目標(biāo)，受試者通過手握力（exp 1–3、5）或右側(cè)肱二頭肌等長收縮的表面肌電（exp 4）控制光標(biāo)跟隨目標(biāo)。每個 block 受試者要學(xué)一條新的目標(biāo)運(yùn)動曲線（前后各安排一些熟悉曲線），強(qiáng)化策略在 block 內(nèi)隨機(jī)或固定。

視覺反饋的撤除：每 7 秒試次里，受試者只能看到一部分光標(biāo)位置：

• exp 1 三個等級——VisionFull（全程）/ VisionHigh（5.5/7 s）/ VisionLow（2.5/7 s）；

• exp 2 把視覺切成 6 檔（100/89/79/57/35/14%），強(qiáng)化標(biāo)準(zhǔn)改為開放循環(huán)固定閾值；

• exp 3 獨(dú)立 24 人隊(duì)列重復(fù) VisionLow；

• exp 4 在視覺之外，再操控伺服馬達(dá)在掌心提供的人工觸覺反饋，組成 8 個感覺條件（V+T+ / V+T? / V?T+ / V?T?）；

• exp 5 收 18 名慢性卒中患者（6 女，58.6 ± 3.3 歲），僅 VisionFull / VisionLow，難度按患者預(yù)校準(zhǔn)。

強(qiáng)化條件：ReinfON 把目標(biāo)點(diǎn)染成綠 / 紅（成功 / 失?。?，ReinfOFF 用視覺匹配的青 / 品紅隨機(jī)色塊，并明確告知"無信息"。成功閾值不是固定數(shù)字，而是閉環(huán)更新——取最近 3 次（exp 3 取 4 次）同一時間點(diǎn)誤差的中位數(shù)作為"剛剛被定義的成功"。這種個體化、動態(tài)的閾值讓每個受試者都在跟自己比，避免了"難度一刀切"對感覺受限者的不公平。

樣本量：88 名右利手健康人（exp 1+2 同一組 24 人，14 女；exp 3 獨(dú)立 24 人，15 女；exp 4 40 人，25 女）加 18 名慢性卒中患者，合計(jì) 106 人。所有受試者預(yù)先填寫 SPSRQ（敏感性獎懲量表），用以分析個體差異。Fig. 1 給出整體任務(wù)框架和實(shí)驗(yàn)列表。

分析：訓(xùn)練期與保持期誤差用 LMM 比較；機(jī)制部分用 transfer entropy 估計(jì)"目標(biāo) → 光標(biāo)"信息流作為在線反饋控制代理；用 KL 散度比較"成功 vs 失敗"加速度分布的分離度；用變異度差異區(qū)分"成功后利用"和"失敗后探索"。

核心發(fā)現(xiàn)

發(fā)現(xiàn)一：收益大小強(qiáng)烈依賴視覺反饋量

exp 1 三個視覺等級下 ReinfON 都比 ReinfOFF 改善訓(xùn)練期誤差（all p<0.001），但效應(yīng)量在 VisionLow（d=0.94）遠(yuǎn)大于 VisionFull（d=0.32）和 VisionHigh（d=0.29）。保持期只在 VisionLow 下 ReinfON 顯著優(yōu)于 ReinfOFF（d=?0.33, p<0.001），其他兩檔沒有差異。Fig. 2 把訓(xùn)練期表現(xiàn)和訓(xùn)練后保持并列呈現(xiàn)，結(jié)論直觀——

Figure 2. Main results of exp 1 (A) Motor performance across training

實(shí)時強(qiáng)化不是"做對就多給點(diǎn)"，而是"在你看不清的時候幫你看清狀態(tài)"。

exp 2 把視覺切成 6 檔進(jìn)一步收斂：ReinfON 收益只出現(xiàn)在 Vision57%、35%、14%（d=?0.32、?0.65、?0.63），前 3 檔（100/89/79%）均無顯著差異（all p>0.17）。這種"梯度式"驗(yàn)證比二元切分更有說服力——收益從某個臨界視覺水平開始出現(xiàn)，并隨視覺進(jìn)一步減少而放大。exp 3 在獨(dú)立隊(duì)列中復(fù)制了 VisionLow 的訓(xùn)練期與保持期效應(yīng)。

這里有一個常被質(zhì)疑的點(diǎn)是：VisionFull 下沒效果，會不會因?yàn)槿蝿?wù)太簡單、加什么反饋都封頂了？exp 2 的擴(kuò)展訓(xùn)練直接否定了這一可能：同一批受試者做 150 次訓(xùn)練后，誤差還能再降 18.7%（Fig. 3A）。也就是說，VisionFull 下沒有 ReinfON 收益，是強(qiáng)化本身在該條件下作用有限，不是天花板。

Figure 3. Main results of exp 2 (A) Retention after extended practice of the task

發(fā)現(xiàn)二：跨感覺模態(tài)同樣有效

如果收益僅在"看不清"時出現(xiàn)，那到底是視覺特殊，還是"感覺信息不足"更一般？exp 4 把控制方式改成 EMG（肱二頭肌等長收縮）+ 人工觸覺反饋（伺服馬達(dá)在掌心），從而能獨(dú)立操控視覺和觸覺兩條感覺通道。

當(dāng)人工觸覺被撤（V+T?，d=?0.11）、視覺被撤（V?T+，d=?0.18）、或兩者同時撤（V?T?，d=?0.36）時，ReinfON 都能進(jìn)一步降低誤差；雙感覺完整的 V+T+ 下沒有效應(yīng)（p=0.79）。Fig. 4 把"強(qiáng)化只對視覺受限有效"擴(kuò)展為"對整體感覺信息削弱都有效"。

Figure 4. Main results of exp 4 (A) EMG interface and artificial somatosensory feedback

這一結(jié)果有兩個含義。第一，"看不清"只是感覺受限的一種形式，觸覺通道受限同樣會觸發(fā)強(qiáng)化的補(bǔ)償作用——這把"實(shí)時強(qiáng)化"從一種視覺任務(wù)的技巧，推到一種跨模態(tài)的反饋設(shè)計(jì)原則。第二，訓(xùn)練期效應(yīng)在三種受限條件下都顯著，但保持期只在 V?T+ 出現(xiàn)增強(qiáng)（d=?0.26），而 V?T? 反而出現(xiàn)"訓(xùn)練期差、保持期好"的反轉(zhuǎn)——可能是因?yàn)楦杏X全撤后控制被迫從反應(yīng)式（基于持續(xù)反饋）轉(zhuǎn)向前饋（基于預(yù)編程命令），前饋在短期內(nèi)犧牲精度，但有助于形成可保留的內(nèi)部模型。

發(fā)現(xiàn)三：卒中患者訓(xùn)練期有改善，保持期沒有

exp 5 中 18 名慢性卒中患者，VisionLow 下 ReinfON 把訓(xùn)練期誤差降低 24.14 ± 12.60 %（d=?0.46, p<0.001），方向與健康人一致。但 VisionFull 下 ReinfON 反而惡化（d=0.24, p=0.016）——作者把它歸因?yàn)?信息冗余可能干擾有注意力缺損的患者"。Fig. 5 把這一邊界畫得很清楚。

Figure 5. Main results of exp 5 (A) Motor performance across training

患者整體在保持期沒有顯著學(xué)習(xí)（post-training 104.69 ± 4.78 % of pre-training），ReinfTYPE × VisionTYPE 不顯著（F?,???.??=1.75, p=0.19）。"在線更好" 不等于 "短期學(xué)習(xí)更強(qiáng)"——這點(diǎn)作者也在 Limitations 里點(diǎn)明，可能與年齡相關(guān)或病灶相關(guān)運(yùn)動學(xué)習(xí)缺損、患側(cè)疲勞有關(guān)。

臨床意義在于：18 個試次的短期訓(xùn)練雖不足以建立可保留的學(xué)習(xí)，但訓(xùn)練期的在線控制改善本身就有價值——康復(fù)訓(xùn)練最需要的就是"在治療時間里做對一點(diǎn)"。至于這一收益能否在更長訓(xùn)練或跨會話中累積，仍然開放。

發(fā)現(xiàn)四：機(jī)制——在線反饋控制增強(qiáng) + 利用成功

Fig. 7 把機(jī)制分析集中在同一張圖里。

Figure 7. Mechanistic dissection of real-time RL (A–C) Feedback control

上半部分（A–C）用 transfer entropy 估計(jì)"目標(biāo) → 光標(biāo)"信息流，作為在線反饋控制代理。ReinfON 只在 VisionLow 下顯著提高該指標(biāo)（d=0.42），VisionFull / VisionHigh 下無效；這一感覺依賴性在 exp 2、3 中都能復(fù)現(xiàn)。實(shí)時強(qiáng)化不是給感覺信號"加亮度"，而是在線反饋控制能力本身的補(bǔ)償——這一點(diǎn)對臨床轉(zhuǎn)化尤其重要，因?yàn)樗f明機(jī)制可能不依賴具體感覺通道，而是作用于更高層級的運(yùn)動控制策略。

下半部分（E–F）分析試次后動作加速度分布（用 250 ms 視覺-運(yùn)動延遲后的事件標(biāo)簽）。ReinfOFF 條件下受試者仍能從光標(biāo)-目標(biāo)距離隱式推斷成敗，作者據(jù)此模擬一個"虛擬強(qiáng)化"以分離顯式強(qiáng)化本身的效應(yīng)。結(jié)果：

• VisionLow 下，ReinfON 讓"成功 vs 失敗"加速度分布的 KL 散度顯著增大（d=0.43），且成功后的變異度下降（d=0.60）、失敗后無變化（d=?0.071）——"利用成功"，不是"失敗后探索"；

• VisionFull 下卻相反：失敗后變異度上升（d=0.34），成功側(cè)無變化（d=0.13）——感覺充足時，強(qiáng)化承擔(dān)的是"提示探索"角色。

Fig. 7G 把這兩條機(jī)制線串到了一起：VisionLow 下訓(xùn)練期"成功后變異度下降"越明顯的個體，保持收益越大（穩(wěn)健回歸 R2=0.21, p=0.036），失敗側(cè)無對應(yīng)關(guān)聯(lián)（R2=0.05, p=0.31）。作者把這條相關(guān)解釋為"強(qiáng)化通過選擇性穩(wěn)定成功動作促進(jìn)保留"。

另一條獨(dú)立證據(jù)來自個體差異：SPSRQ（敏感性獎懲量表）得分與 ReinfTYPE 在健康人（p=0.017）和卒中患者（p<0.001）中均交互——分?jǐn)?shù)越高，ReinfON 下誤差越?。‵ig. 6）。這支持"實(shí)時強(qiáng)化不只是額外感覺信號，而是調(diào)動了獎勵相關(guān)機(jī)制"——也呼應(yīng)既往關(guān)于強(qiáng)化運(yùn)動學(xué)習(xí)依賴紋狀體活動的發(fā)現(xiàn)。

Figure 6. Relationship between reinforcement-related benefits and sensitivity to incentives Results from two LMM runs on the VisionLow data with the fixed effects SPSRQSCORE and ReinfTYPE in healthy subjects (pooled exp 1 and 3, n = 48, left) and stroke patients (exp 5, n = 18, right)

歸納總結(jié)和點(diǎn)評

結(jié)論的感覺條件性很強(qiáng)。VisionFull 下 ReinfON 幾乎無效——它不是普適增強(qiáng)器，而是感覺受限時的一種補(bǔ)償策略。作者在討論中也強(qiáng)調(diào)：效應(yīng)量隨個體的激勵敏感性和并行感覺質(zhì)量而變化，不是"一刀切"療法。如果未來要落地為康復(fù)方案，需要先評估患者當(dāng)時的感覺狀態(tài)和激勵敏感性，再決定強(qiáng)化模態(tài)與強(qiáng)度。

訓(xùn)練期收益 ≠ 保持期收益。卒中患者在 18 個訓(xùn)練試次內(nèi)能改善在線控制，但短期學(xué)習(xí)保留沒建立。可能需要更長訓(xùn)練、跨試次累積、或與外周感覺反饋配合。作者也提到"軀體感覺對訓(xùn)練期不是必需，但對保留收益是必需"——這一結(jié)論部分回應(yīng)了"強(qiáng)化能否獨(dú)立成體系"的問題。

機(jī)制是分層的。感覺充足時，強(qiáng)化起到"提示探索"作用（失敗后變異度上升）；感覺不足時，強(qiáng)化切換到"利用成功"（成功后變異度下降）。這種"感覺—強(qiáng)化"相互作用在端點(diǎn)反饋研究中沒有出現(xiàn)，更可能源自"在線"這一時間屬性本身——把"成功"信號嵌入到每一個采樣點(diǎn)，讓操作者能更精細(xì)地使用它。

轉(zhuǎn)化仍在早期。所有實(shí)驗(yàn)都是同一種 7 秒力追蹤任務(wù)、視覺化的顏色強(qiáng)化。日常動作（切菜、操縱工具、駕駛）的感覺模式遠(yuǎn)比這復(fù)雜——連續(xù)噪聲、空間畸變、時延等都未測?；颊呷后w也未按卒中亞型 / 年齡 / 嚴(yán)重度分層。后續(xù)研究需要把"個體化、動態(tài)閾值"這一設(shè)計(jì)原則遷移到更接近真實(shí)場景的任務(wù)里，并比較不同感覺通道下的強(qiáng)化模態(tài)（觸覺、聽覺、本體感覺）。把"實(shí)時強(qiáng)化"和感覺替代、神經(jīng)刺激、運(yùn)動想象等手段組合，也可能產(chǎn)生協(xié)同效應(yīng)——這些都值得在動物和早期臨床中系統(tǒng)測試。

請打分

這篇剛剛登上 Neuron 的研究，是否實(shí)至名歸？我們邀請您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評論區(qū)分享您的深度見解。

暑期提升

分享人：BQ

審核：PsyBrain 腦心前沿編輯部

你好，這里是「PsyBrain 腦心前沿」

專注追蹤全球認(rèn)知神經(jīng)科學(xué)的最尖端突破

視野直擊 Nature, Science, Cell 正刊 及核心子刊與頂級大刊

每日速遞「深度解讀」與「前沿快訊」

科研是一場探索未知的長跑，但你無需獨(dú)行。歡迎加入PsyBrain 學(xué)術(shù)社群，和一群懂你的同行，共同丈量腦與心智的無垠前沿。

點(diǎn)擊卡片進(jìn)群，歡迎你的到來

一鍵關(guān)注，點(diǎn)亮星標(biāo) ? 前沿不走丟！

一鍵分享，讓更多人了解前沿