![]()
人腦的結(jié)構(gòu)并不均勻。經(jīng)過(guò)漫長(zhǎng)的演化,它長(zhǎng)出了一套分工明確的組織:語(yǔ)言、邏輯、物理直覺(jué)、社會(huì)推理,各自盤踞在皮層相對(duì)固定的區(qū)域,既分工又協(xié)作。困擾研究人員許久的一個(gè)問(wèn)題是:大腦的功能分區(qū),究竟是任何智能系統(tǒng)都躲不開(kāi)的必然,還是人類演化路上的一個(gè)偶然?
最近,MIT 團(tuán)隊(duì)的一項(xiàng)研究“Modular Cognitive Architecture Emerges in Large Language Models ”表明,答案更傾向于前者。畢竟,大語(yǔ)言模型的來(lái)路完全不同。它沒(méi)有身體,也沒(méi)有經(jīng)歷演化,只是在海量的文本上做基于下一詞元預(yù)測(cè)(next-token prediction)的訓(xùn)練。當(dāng)一個(gè)構(gòu)造如此不同的系統(tǒng)也出現(xiàn)了這套分工,它更可能是智能本身的深層規(guī)律,而不是碳基大腦的偶然。不過(guò)作者也謹(jǐn)慎地強(qiáng)調(diào),這只是“證據(jù)的指向”,還談不上定論。
這項(xiàng)研究由兩位資深學(xué)者帶隊(duì)。一位是 MIT 腦與認(rèn)知科學(xué)系教授 Evelina Fedorenko,她因界定出人腦中專門負(fù)責(zé)語(yǔ)言的“語(yǔ)言網(wǎng)絡(luò)”而出名,2025 年剛獲美國(guó)國(guó)家科學(xué)院頒發(fā)的 Troland 研究獎(jiǎng);另一位是 MIT 計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)教授 Jacob Andreas,他是 AI 與自然語(yǔ)言處理領(lǐng)域的知名學(xué)者。而研究的第一作者是韓芃睿,他是伊利諾伊大學(xué)厄巴納-香檳分校(UIUC)計(jì)算機(jī)科學(xué)碩士,導(dǎo)師是尤佳軒教授;他的工作發(fā)表于 ICML、EMNLP 等 AI 與 NLP 頂級(jí)會(huì)議,曾獲 NeurIPS Workshop 最佳論文榮譽(yù)提名。
![]()
(來(lái)源:Github)
在這項(xiàng)研究中,團(tuán)隊(duì)分析了六個(gè) 24B 到 123B 的主流開(kāi)源模型,覆蓋語(yǔ)言、邏輯、物理、社會(huì)四大認(rèn)知域共 46 個(gè)任務(wù),用電路級(jí)方法定位每個(gè)任務(wù)真正依賴的神經(jīng)元。他們不僅發(fā)現(xiàn)同域任務(wù)共享神經(jīng)元、跨域幾乎互不相干(同域重疊是跨域的四倍多),還做了一個(gè)很干凈的驗(yàn)證:關(guān)掉負(fù)責(zé)語(yǔ)言的神經(jīng)元,模型物理照樣推理得對(duì),只是話說(shuō)得不通順;關(guān)掉負(fù)責(zé)物理的神經(jīng)元,句子流暢,卻把結(jié)論說(shuō)反了。這套分工不只是統(tǒng)計(jì)上的巧合,而是有實(shí)實(shí)在在的因果效力。
圍繞這項(xiàng)研究,以及它用 AI 理解智能本身的理念,DeepTech 和韓芃睿進(jìn)行了一次對(duì)話。
用另一種智能,回答一個(gè)只有一個(gè)樣本的問(wèn)題
DeepTech:你們是怎么想到用 LLM 來(lái)切入大腦的功能分區(qū)是“智能系統(tǒng)的必然”,還是“生物演化的偶然”?
韓芃睿:這個(gè)問(wèn)題光靠研究大腦本身很難回答。因?yàn)槲覀冎挥幸粋€(gè)樣本,而且生物組織還背著很多和任務(wù)無(wú)關(guān)的約束,比如能量代謝。
趨同演化在生物學(xué)里是一個(gè)很強(qiáng)的證據(jù)邏輯:如果一個(gè)性狀在親緣很遠(yuǎn)的物種里各自獨(dú)立出現(xiàn)——比如蝙蝠和鯨魚各自演化出回聲定位——我們就有理由相信,它是被問(wèn)題本身逼出來(lái)的,而不是偶然。
LLM 給了我們一個(gè)全新的機(jī)會(huì)。它是另一類智能系統(tǒng),走的是完全不同的優(yōu)化路徑,本質(zhì)上是在預(yù)測(cè)下一個(gè)詞元(next-token prediction)上做梯度下降,和生物演化非常不同。同時(shí)它又具備很多人類獨(dú)有的高級(jí)認(rèn)知能力,比如理解人類語(yǔ)言、解決復(fù)雜的數(shù)學(xué)問(wèn)題。所以如果模塊化在 LLM 里也獨(dú)立出現(xiàn)了,那它更可能是任何朝著智能優(yōu)化的系統(tǒng)都會(huì)收斂到的解,而不是碳基大腦的偶然。這就是我們用 LLM 切進(jìn)來(lái)的核心動(dòng)機(jī)。
DeepTech:團(tuán)隊(duì)里既有認(rèn)知科學(xué)家 Evelina Fedorenko,也有 AI 研究者 Jacob Andreas。這兩邊看問(wèn)題的方式很不一樣,你們?cè)趺磪f(xié)調(diào)這些視角?
韓芃睿:其實(shí)兩邊的摩擦比想象中小很多。因?yàn)?Jacob 和 Ev 都研究語(yǔ)言和 AI,共享了非常多的興趣和判斷,只是側(cè)重不一樣。Jacob 會(huì)更聚焦在算法這一層。舉個(gè)具體的例子:我們最開(kāi)始用的方法更偏神經(jīng)科學(xué)一點(diǎn),直接拿最小對(duì)照對(duì)(minimal pair)去比激活值,看哪些神經(jīng)元在統(tǒng)計(jì)上是顯著的。但后來(lái)發(fā)現(xiàn),這樣識(shí)別出來(lái)的單元沒(méi)有很好的因果影響,Jacob 就建議我們換成 patching 這類更嚴(yán)格的方法,這直接決定了后面整套流程。
Ev 這邊更在意科學(xué)層面的洞見(jiàn),比如怎么讓任務(wù)和腦網(wǎng)絡(luò)的對(duì)應(yīng)更扎實(shí),以及我們到底能檢驗(yàn)?zāi)男┱嬲幸馑嫉募僭O(shè)。一個(gè)稍微偏方法上站不站得住,一個(gè)稍微偏科學(xué)上值不值得問(wèn),兩個(gè)視角其實(shí)是互補(bǔ)的,最后拼在一起,研究才完整。
模塊化,是“同時(shí)解決很多問(wèn)題”逼出來(lái)的
DeepTech:如果用最簡(jiǎn)單的一句話概括你們的研究發(fā)現(xiàn),你會(huì)怎么說(shuō)?
韓芃睿:一個(gè)只靠預(yù)測(cè)下一個(gè)詞元、靠反向傳播訓(xùn)練出來(lái)的語(yǔ)言模型,會(huì)自發(fā)長(zhǎng)出和人腦相似的模塊化分工:語(yǔ)言、邏輯、物理、社會(huì)推理各自由一批基本不重疊的神經(jīng)元支撐。而且這種分工是有因果效力的:關(guān)掉某個(gè)域的神經(jīng)元,只會(huì)破壞那個(gè)域的能力。
DeepTech:你們有一個(gè)很直觀的結(jié)果,同一類任務(wù)用的是重疊的神經(jīng)元,不同類任務(wù)用的是幾乎不相干的神經(jīng)元,同域重疊是跨域的四倍多。LLM 為什么會(huì)形成這種分工?
韓芃睿:我們提出的一個(gè)可能解釋是:LLM 要在海量、異質(zhì)的語(yǔ)料上實(shí)施預(yù)測(cè),而這種預(yù)測(cè)常常需要多種推理同時(shí)上場(chǎng)。比如,想象你要預(yù)測(cè)一本偵探小說(shuō)結(jié)尾的下一個(gè)詞:可能同時(shí)需要演繹推理去縮小嫌疑人范圍,社會(huì)推理去推斷動(dòng)機(jī),物理推理去判斷作案在物理上是否可能,而這些還都得和解析句子結(jié)構(gòu)的語(yǔ)言處理交織在一起。
當(dāng)多種計(jì)算要在同一個(gè)輸入上同時(shí)運(yùn)行,系統(tǒng)就面臨一個(gè)壓力:別讓它們互相干擾。這個(gè)壓力有兩層。一層是處理層面,幾種信息要同時(shí)表示,編碼就必須彼此可分,否則會(huì)撞在一起、互相污染。另一層是學(xué)習(xí)層面,如果不同計(jì)算的神經(jīng)元混在一起,改進(jìn)一個(gè)域的更新就會(huì)擾動(dòng)另一個(gè)域,這就是分布式系統(tǒng)里災(zāi)難性干擾的老問(wèn)題。
把不同計(jì)算分給不同的神經(jīng)元,正好同時(shí)解決了這兩種干擾。所以模塊化很可能不是被誰(shuí)設(shè)計(jì)的,而是來(lái)自于同時(shí)解決很多種問(wèn)題的壓力。
DeepTech:損傷實(shí)驗(yàn)里出現(xiàn)了一個(gè)現(xiàn)象:關(guān)掉負(fù)責(zé)語(yǔ)言的神經(jīng)元,模型推理是對(duì)的,但語(yǔ)法開(kāi)始出錯(cuò);關(guān)掉負(fù)責(zé)物理的神經(jīng)元,語(yǔ)法流暢,卻把物理結(jié)論說(shuō)反了。這種形式與內(nèi)容的分離,你會(huì)怎么理解?
韓芃睿:對(duì),這正是我們?cè)趽p傷實(shí)驗(yàn)里看到的雙分離(double dissociation),而且它非常干凈。 用同一個(gè)物理問(wèn)題:一根橡皮筋熱老化之后的彈性來(lái)測(cè)試。關(guān)掉語(yǔ)言神經(jīng)元,模型的物理推理還是對(duì)的:更弱的回彈力、回彈不完全、耗散更多能量,但語(yǔ)法和詞法開(kāi)始出錯(cuò)。反過(guò)來(lái)關(guān)掉物理神經(jīng)元,句子依然通順流暢,但物理結(jié)論說(shuō)反了。
這說(shuō)明模型內(nèi)部確實(shí)把“把話說(shuō)通順”和“把道理說(shuō)對(duì)”交給了兩套不同的系統(tǒng)。它們?cè)谕粋€(gè)輸出上協(xié)作,但可以被獨(dú)立地破壞。這種可分離性本身,就是模塊化最直接的行為證據(jù)。這其實(shí)也和 Ev 之前在人身上的發(fā)現(xiàn)很呼應(yīng)。比如語(yǔ)言能力嚴(yán)重受損的失語(yǔ)癥患者,他們幾乎無(wú)法理解語(yǔ)言,卻依然能完成很復(fù)雜的推理、數(shù)學(xué)和邏輯任務(wù)。
DeepTech:Transformer 沒(méi)有神經(jīng)科學(xué)的能量代價(jià),損失函數(shù)也不在乎具體用了多少神經(jīng)元,它卻照樣出現(xiàn)了模塊化。你覺(jué)得是什么在驅(qū)動(dòng)它?
韓芃睿:神經(jīng)科學(xué)里的解釋是代謝約束:大腦每次只激活一小部分神經(jīng)元,比廣泛激活省能量,而給每類任務(wù)分一套專屬神經(jīng)元,正好能實(shí)現(xiàn)這種稀疏。但這個(gè)壓力對(duì)我們研究的 LLM 完全不適用。Transformer 的前向計(jì)算在任何生物意義上都沒(méi)有代謝成本的差異,損失函數(shù)里也沒(méi)有任何一項(xiàng)去懲罰某個(gè)輸入激活了多少神經(jīng)元。可即便如此,一個(gè)明顯可辨認(rèn)的、類人的模塊化組織照樣出現(xiàn)了。
這說(shuō)明,代謝壓力不管在塑造人類皮層時(shí)起了多大作用,它都不是功能特化出現(xiàn)的必要條件。那真正在驅(qū)動(dòng)的是什么?我們認(rèn)為一種可能,就是前面說(shuō)的那種干擾壓力,它不需要任何能量代價(jià)就能成立。
DeepTech:對(duì)照實(shí)驗(yàn)里,小模型 GPT-2 做不對(duì)這些推理任務(wù),它只能分出“語(yǔ)言 VS 其他”,分不出更細(xì)的模塊。你們也提到“模塊化只在模型真能解決任務(wù)時(shí)才出現(xiàn)”。你可以具體解釋一下嗎?
韓芃睿:先講清楚我們這套方法的一個(gè)性質(zhì):歸因修補(bǔ)(attribution patching)本質(zhì)上是在找那些對(duì)做對(duì)任務(wù)有因果貢獻(xiàn)的神經(jīng)元。換句話說(shuō),如果模型根本做不對(duì)、或者理解不了某個(gè)任務(wù),它內(nèi)部就沒(méi)有一套對(duì)的計(jì)算可言,修補(bǔ)出來(lái)的東西自然也沒(méi)有意義。GPT-2 的對(duì)照正好佐證了這一點(diǎn)。我們把完全一樣的流程、完全一樣的數(shù)據(jù)放到 GPT-2 上,它做不了大部分推理任務(wù),結(jié)果就只能分出“語(yǔ)言 vs 其他”。這說(shuō)明我們的框架測(cè)的是底層計(jì)算,而不是數(shù)據(jù)本身的假象。
當(dāng)然,我們也承認(rèn),換一套別的方法或者換更簡(jiǎn)單的任務(wù),GPT-2 有可能也顯現(xiàn)出某種模塊化。所以,我們的發(fā)現(xiàn)想強(qiáng)調(diào)兩點(diǎn):第一,我們這個(gè)框架測(cè)到的是計(jì)算,而不是數(shù)據(jù)的假象。我們還專門做了一個(gè)關(guān)于語(yǔ)義的對(duì)照實(shí)驗(yàn)來(lái)佐證,光靠 prompt 的語(yǔ)義相似度是還原不出這個(gè)結(jié)構(gòu)的;第二,也正因?yàn)檫@樣,與其說(shuō)這種精細(xì)分工是“涌現(xiàn)的副產(chǎn)品”、或者去談它和規(guī)模的關(guān)系,我們更愿意說(shuō):模型真正能解題,是它出現(xiàn)的前提。只有能理解、能做對(duì),才談得上計(jì)算、才談得上電路。
把 LLM 當(dāng)作“第二種智能系統(tǒng)”來(lái)研究
DeepTech:你們?cè)谖恼吕锾岬揭粋€(gè)很有意思的定位:LLM 可以當(dāng)作“第二種智能系統(tǒng)”去檢驗(yàn)我們關(guān)于人類認(rèn)知的理論。這對(duì)研究大腦有什么具體的啟示?
韓芃睿:LLM 作為一個(gè)科學(xué)研究對(duì)象,在擁有很多復(fù)雜行為和能力的同時(shí),比人腦有更多可控性,也更容易交互。我們可以隨意探測(cè)它、干預(yù)它、把某部分關(guān)掉再看會(huì)發(fā)生什么,這些在人身上要么做不到,要么代價(jià)極高。所以它本身就是一個(gè)很適合拿來(lái)做科學(xué)研究的對(duì)象,能幫我們更高效地檢驗(yàn)關(guān)于智能和認(rèn)知的假設(shè)。
對(duì)神經(jīng)科學(xué),我們有兩個(gè)挺具體的方向。一是預(yù)測(cè):我們的方法可以從 LLM 出發(fā),對(duì)一個(gè)全新的任務(wù)會(huì)調(diào)用人腦哪個(gè)網(wǎng)絡(luò)生成假設(shè),再拿去用 fMRI 驗(yàn)證,等于給腦科學(xué)多了一個(gè)產(chǎn)生假設(shè)的來(lái)源。二是研究信息流:不同腦網(wǎng)絡(luò)之間怎么把信息傳給彼此,這在人腦里極難研究,因?yàn)槟阈枰瑫r(shí)具備很高的空間和時(shí)間分辨率,而這個(gè)組合在人類神經(jīng)成像里基本做不到。但在 LLM 里,我們能同時(shí)訪問(wèn)全部神經(jīng)元和它們的連接,所以可以去構(gòu)建和檢驗(yàn)一些機(jī)制層面的假設(shè),比如語(yǔ)言系統(tǒng)到底是怎么把解析好的輸入喂給某個(gè)推理系統(tǒng)的。
DeepTech:反過(guò)來(lái),你認(rèn)為這項(xiàng)發(fā)現(xiàn)對(duì)做 AI 的人有什么用?知道模型內(nèi)部是模塊化的,能幫我們把模型造得更好或者更可控嗎?
韓芃睿:最直接的一條,和現(xiàn)在很火的混合專家模型(mixture-of-experts,MoE)有關(guān)。MoE 被采用主要是出于效率考慮,把每個(gè) token 路由給一部分專家,能減少激活的參數(shù)量。但我們的發(fā)現(xiàn)提示,模塊化組織本身可能還帶來(lái)額外的計(jì)算優(yōu)勢(shì),而不只是省算力。
已經(jīng)有工作往這個(gè)方向走了,比如讓專家之間形成類腦的特化,既保住了推理的性能,又讓模型更可解釋、更可引導(dǎo)。所以知道模型內(nèi)部是模塊化的,未來(lái)可能真的能反過(guò)來(lái)指導(dǎo)我們把模型設(shè)計(jì)得更好、更可控。這塊還很開(kāi)放,值得深挖:模塊化和性能之間,到底是什么關(guān)系。
AI 像大腦,最怕被過(guò)度解讀
DeepTech:AI 像大腦這種說(shuō)法很容易被過(guò)度解讀。作為研究者,你最希望大眾不要從這項(xiàng)研究里武斷得出的錯(cuò)誤結(jié)論是什么?
韓芃睿:這是個(gè)很好的問(wèn)題。做這類研究一個(gè)很重要的注意事項(xiàng),就是不要過(guò)度地把 LLM 當(dāng)人。隨著研究深入,很多實(shí)驗(yàn)室確實(shí)發(fā)現(xiàn)了越來(lái)越多 AI 和大腦相似的地方,從行為到機(jī)理,這非常令人興奮。但不可否認(rèn),LLM 和大腦有著根本性的不同,而且它只由語(yǔ)言這一個(gè)模態(tài)驅(qū)動(dòng)。
所以我的態(tài)度是:LLM 是一個(gè)很好的東西,可以拿來(lái)檢驗(yàn)假設(shè)、去交互、去探測(cè),把它當(dāng)成一個(gè)科學(xué)研究對(duì)象來(lái)研究,這比研究人有更多可控性、也更高效。但不能盲目。每一個(gè)實(shí)驗(yàn)我們都要盡力去分清,這個(gè)相似背后真正的來(lái)源是什么。它可能來(lái)自一個(gè)真正的原理,也可能只是某些人類數(shù)據(jù)的假象,或者其他各種因素。把這些分清,才能讓研究更經(jīng)得起推敲。
DeepTech:拋開(kāi)這項(xiàng)具體的研究,在“用 AI 理解智能本身”這個(gè)方向上,你覺(jué)得最大的挑戰(zhàn)是什么?
韓芃睿:我覺(jué)得最大的挑戰(zhàn),恰恰就是上一個(gè)問(wèn)題的延伸:怎么系統(tǒng)性地把一個(gè)真正的原理和一個(gè)假象區(qū)分開(kāi)。
現(xiàn)在我們?nèi)币惶坠J(rèn)的標(biāo)準(zhǔn),去判斷某個(gè) AI 和大腦相似到底算不算數(shù)。它是兩類智能系統(tǒng)面對(duì)同一個(gè)問(wèn)題各自收斂出的深層原理,還是只是訓(xùn)練數(shù)據(jù)、任務(wù)設(shè)計(jì)、或者度量方式帶來(lái)的表面巧合。每一個(gè)這樣的相似,都需要單獨(dú)去設(shè)計(jì)對(duì)照、去排除掉淺層的解釋,才敢說(shuō)它有意義。
運(yùn)營(yíng)/排版:何晨龍
注:封面/首圖由 AI 輔助生成
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.