NC | 看電影時，大腦如何分配視聽資源？顱內腦電揭示額葉皮層靈活跨模態資源分配機制

認知神經科學前沿文獻分享

基本信息

Title:Frontal cortex organization supporting audiovisual processing during naturalistic viewing

發表時間:2026-06-22

發表期刊:Nature Communications

影響因子:18.1

獲取原文:

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究背景

在真實的日常生活中，我們的大腦無時無刻不在處理多感覺信息。無論是在嘈雜的咖啡館里與朋友交談，還是在電影院里觀看一部外語片，大腦都需要將聽覺和視覺信息無縫整合，以形成統一的知覺體驗。

過去幾十年里，神經科學界對多感覺整合的機制進行了大量探索，并發現額葉皮層在其中扮演著關鍵角色。然而，這些結論大多建立在高度控制的實驗室任務之上——例如讓受試者判斷簡單的閃光和嗶嗶聲是否同時出現。這種還原論的方法雖然精確，卻留下了一個巨大的空白：在面對真實世界中連續、豐富且動態變化的視聽流時，大腦（尤其是額葉皮層）究竟是如何組織和分配這些感覺信息的？

為了回答這一問題，紐約大學 Adeen Flinker 團隊開展了一項基于自然范式的研究。他們讓 19 名植入顱內電極（iEEG）的癲癇患者觀看了一部包含多語種對話的微電影，并結合無監督聚類與基于深度學習的編碼模型，以前所未有的時空分辨率，揭示了額葉皮層在自然視聽處理中的空間組織規律與動態分配機制。

研究核心總結

這項研究不僅證實了額葉皮層在視聽處理中的核心地位，更重要的是，它將復雜的自然視聽流拆解開來，揭示了大腦在“表征信息”與“分配資源”時的具體策略。

一、 額葉皮層存在處理視聽信息的“腹背側梯度”

研究者首先根據電影的情境，提取了患者在純英語對話、帶英文字幕的外語對話、非語音環境以及靜音環境下的神經高頻寬帶活動。通過無監督的非負矩陣分解（NMF）技術，研究團隊在全腦識別出了兩個功能網絡：一個偏好聽覺，另一個偏好視覺。

有趣的是，這兩個網絡在額葉皮層呈現出明顯的空間分離。為了更精確地量化這種空間分布，研究者引入了多元時間響應函數（mTRF）編碼模型。他們利用深度學習模型（如 wav2vec 2.0 和 Vision Transformer）提取了電影的高級視聽特征，并計算了額葉電極對聽覺和視覺的調諧偏好。結果證實，額葉皮層存在一個顯著的腹背側梯度（ventral-dorsal gradient）：越靠近腹側（如腹外側前額葉，vlPFC），電極越傾向于處理聽覺信息；越靠近背側（如背外側前額葉，dlPFC），電極越傾向于處理視覺信息。

進一步的特征拆解表明，驅動這一空間梯度的并非低級的聲學或視覺像素特征，而是由 Transformer 模型提取的高級語義特征。

Fig 1. 研究團隊將電影劃分為英語、外語、其他聲音和靜音四種自然情境，以考察不同視聽條件下的神經響應。

Fig 2. 無監督聚類分析揭示了大腦中存在分別偏好聽覺（紅色）和視覺（藍色）的兩個功能網絡，且在額葉呈現空間分離。

Fig 3. 借助深度學習模型提取電影的低級與高級視聽特征，并通過 mTRF 編碼模型量化大腦的神經表征。

Fig 4. 額葉皮層存在顯著的腹背側梯度：越靠近腹側越偏好聽覺，越靠近背側越偏好視覺，且該梯度主要由高級語義特征驅動。

在明確了額葉皮層的空間分工后，研究者提出了一個更深入的問題：這種視聽表征是一成不變的嗎？

當受試者觀看母語（英語）片段時，他們主要依賴聽覺來理解劇情；而當角色開始講外語時，受試者必須依賴屏幕上的英文字幕（視覺）來跟上故事。神經數據完美地反映了這種行為策略的轉變。研究發現，在英語情境下，額葉皮層對聽覺特征的編碼顯著增強；而在外語情境下，額葉皮層則將資源大幅傾斜給了視覺特征。

為了驗證這確實是一種“資源權重分配”過程，研究者還在亞馬遜 Mechanical Turk 平臺上招募了健康受試者進行逐幀的行為評分。行為數據證實，觀眾對“當前片段哪種模態更重要”的主觀評分，與額葉皮層神經權重的動態切換高度吻合。這說明，大腦在看電影時，會根據當前的理解需求，靈活地在視聽模態之間重新分配神經資源。

Fig 5. 額葉皮層的視聽表征并非一成不變，而是會根據語言情境（如母語對話 vs. 依賴字幕的外語）動態調整對聽覺或視覺的權重。

既然大腦能夠靈活分配視聽資源，那么是誰在下達這個“分配指令”？

研究者將行為實驗中獲得的“模態分配指數”作為一種獨立的特征，再次輸入到神經編碼模型中。結果發現，負責追蹤“模態分配”的電極同樣主要集中在額葉皮層，但它們與前面發現的負責“表征視聽特征”的電極在空間上幾乎沒有重疊（僅有不到 3% 的電極同時參與三種計算）。

從時間維度上看，額葉皮層對“模態分配”的響應潛伏期（約 300 毫秒）顯著早于對高級視聽特征的表征（約 400 毫秒）。這暗示了一個自上而下的控制過程：額葉皮層中的特定子網絡首先評估當前情境下哪種感覺通道更重要，隨后指導其他區域完成具體特征的語義加工。

Fig 6. 負責“視聽資源分配”的額葉電極與負責“視聽特征表征”的電極在空間上高度分離，表明兩者依賴不同的神經基質。

研究意義

這項工作將多感覺整合的研究從靜態的實驗室任務推向了動態的真實世界場景，為我們理解大腦的自然感知機制提供了重要視角。

從理論意義上看，該研究首次利用高時空分辨率的顱內腦電，在人類額葉皮層中證實了一個連續的視聽語義梯度。這打破了以往將額葉視為一個均質“多需求網絡”的簡單假設，揭示了其內部精細的模態特異性拓撲結構。

從機制啟發上講，研究提出了一種目標導向的“模態分配策略”。過去的研究往往強調大腦會根據感覺信號的“物理可靠性”（如視線模糊時更依賴聽覺）來整合信息；而本研究表明，在視聽信號質量都很好的自然電影中，大腦依然會根據“理解劇情”這一高級認知目標，主動且動態地調配神經資源。

當然，這項研究也存在其邊界。由于電影中的聽覺刺激主要由語音構成，額葉腹側的聽覺偏好在多大程度上反映了純粹的聽覺處理，又在多大程度上卷入了語言加工網絡，仍需未來使用非語言類的自然刺激進行進一步剝離。但無論如何，這項工作為我們揭開大腦如何應對復雜多變的多感覺世界，提供了一塊關鍵的拼圖。

分享人：飯鴿兒

審核：PsyBrain 腦心前沿編輯部

你好，這里是「PsyBrain 腦心前沿」

專注追蹤全球認知神經科學的最尖端突破

視野直擊 Nature, Science, Cell 正刊 及核心子刊與頂級大刊

每日速遞「深度解讀」與「前沿快訊」

科研是一場探索未知的長跑，但你無需獨行。歡迎加入PsyBrain 學術社群，和一群懂你的同行，共同丈量腦與心智的無垠前沿。

點擊卡片進群，歡迎你的到來

一鍵關注，點亮星標 ? 前沿不走丟！

一鍵分享，讓更多人了解前沿