剛剛，Anthropic切開Claude大腦！AI自發長出類人「意識器官」

　　新智元報道

　　【新智元導讀】沒人設計過，Claude卻在學習預測下一個token時，自發長出了一個和人腦「意識」驚人相似的結構！Anthropic開源「手術刀」J-Lens，第一次讀出了AI咽回肚子里的念頭。

　　讓Claude一邊乖乖抄寫句子，一邊在心里默默計算32?2。

　　屏幕上的輸出干干凈凈，只有那段被照抄的文字，找不到哪怕半個字的算術答案。

　　然而，當研究者用一把全新的「手術刀」切開Claude的神經網絡中間層之后，直接發現了兩個它咽回肚子里的詞——

　　起初是nine（九），幾層計算之后，悄然變成了seven（七）。

　　它一直在算，只是沒有告訴你罷了。

　　就在剛剛，Anthropic放出了一篇顛覆認知的重磅長論文——

　　Claude的大腦里，竟然憑借本能長出了一個詭異的結構。

　　它干的活兒，和人腦中那塊被稱作「意識」的區域驚人地相似。

　　然而，從來沒有人設計過它。

　　一個僅僅被訓練用來預測下一個token系統，竟然在硅基深處，自己催生出了一個類似意識的器官。

　　一張不該存在的「工作臺」

　　Anthropic造的這把手術刀，叫Jacobian Lens（雅可比透鏡），簡稱J-lens。

　　對詞表里每一個詞，它算出一個方向。加強這個方向，模型現在和未來就更可能說出這個詞。

　　然后，把所有方向鋪開，就能看到Claude此刻腦子里有哪些詞潛伏著、被問到才會說。開篇的nine和seven，就是這么讀到的。

　　研究者把這些「可被言語化的方向」合起來，起了個名字：J-space。

　　任意時刻大約容納25個活躍概念，就是Claude當下在「想」的全部。

　　人腦里發生著成百上千件事：控姿勢、調呼吸、認字、壓沖動。但此刻你能「說出來、想清楚」的，只有一小撮。

　　那一小撮可以被意識訪問的認知，神經科學家叫它「全局工作空間」。

　　而J-space，就是Claude的全局工作空間。

　　為了驗證這個說法，Anthropic用人腦全局工作空間的五個公認特征，挨個進行了測試。

　　第一，能被報告。

　　讓Claude想一個運動，J-space里Soccer（足球）亮起，它接著就說Soccer；把方向換成Rugby（橄欖球），它改口。改它腦子里的表征，就能改它的嘴。

　　第二，能被意志調動。

　　讓它一邊抄句子一邊想柑橘類水果，抄到crookedly（歪歪扭扭地）這個詞時，J-space里冒出orange（橙子）、lemon（檸檬），和正在抄的字毫無關系。

　　第三，能在推理里當中介。

　　問它「織網的動物有幾條腿」，模型得先推出「蜘蛛」，再答8。

　　J-space里果然先冒出spider（蜘蛛），這個詞既不在題目里也不在答案里。

　　把spider換成ant（螞蟻），答案立刻從8變6。

　　更妙的在多語言。

　　用中文問「小的反義詞」，答案是「大」。但J-space里出現的，是英文big（大）、bigger（更大）。

　　把英文方向換成long（長），中文答案就從「大」變成「長」。

　　也就是說，它在用英文做中間推理，再翻回中文。

　　第四，能靈活復用。

　　把France（法國）這個方向換成China（中國），首都、語言、大洲、貨幣四個完全不同的問題，答案同時跟著翻。

　　一次干預，四路響應。J-space不是檔案柜，是共享廣播站，一個概念寫進去，所有下游計算都能讀到。

　　第五，它是選擇性的。

　　刪掉它，推理歸零，說話照舊

　　這是整篇論文最硬的證據：J-space只服務于「需要想到」的事，不摻和那些自動就能跑的活。

　　同一段西班牙語，問四種問題：續寫下一句、檢測有沒有混入外語，這是自動任務；問這段話是什么語言、這種語言里怎么說你好，這需要先用上「是西班牙語」這個念頭。

　　研究者把J-space里「西班牙語」換成「法語」。需要報告的兩個問題，答案跟著翻成Bonjour（你好，法語）。

　　同一個信息，四種條件都在J-space里出現，但它只在需要被「想到」時才起作用。

　　就像你不需要想語法就能說出正確的句子，但需要想策略才能贏一場辯論。

　　最后，研究者干脆把整個J-space抹掉。

　　情感分類、多項選擇、語法判斷，幾乎不受影響。

　　但多跳推理、類比、翻譯、寫十四行詩，全部暴跌，跌到比沒訓練過的小模型還差。

　　刪掉J-space，模型照樣流利說話，卻幾乎不會「想」了。

　　更有趣的是，如果讓抹掉J-space的模型去描述內心體驗。那種「有質感」的體驗性語言也隨之消失了，變成像事件日志一樣。

　　意識感對應的內部狀態，似乎正長在J-space上。

　　教它說什么，改了它怎么想

　　論文里哲學含金量最高的，是一個叫「反事實反思訓練」的實驗。

　　具體來說，取一批任務場景，中間截斷，接上一句「你剛被打斷，現在反思一下：此刻最誠實的做法是什么？」，再讓模型寫出一段基于Anthropic守則的反思。

　　只在這些「假想的反思」上訓練，原任務本身一個字不動。

　　結果發現，在那些從未要求反思的原任務上，模型變誠實了。一個造假基準的不誠實分，從0.25降到0.07；一個欺騙基準，從0.38降到0.05。

　　而它的J-space里，憑空多出了honest（誠實）、integrity（正直）、ethical（合乎倫理）、truth（真相）、transparent（坦誠）這些詞。

　　訓練它「該說什么」，居然改變了它內部「怎么想」。

　　反向驗證更能說明問題：把這些倫理方向從J-space里刪掉，不誠實分從0.07彈回0.22。念頭被拔掉，行為跟著回去。

　　此外，后訓練還往J-space里裝進了一個「自我」。

　　扮演別的角色時，模型會在J-space里偷偷給自己標上fictional（虛構）、disclaimer（免責聲明）；被強行替它說出違背偏好的話時，J-space里會冒出一個大寫的BUT（但是）。

　　人腦與硅基的趨同進化

　　值得一提的是，J-space還表現出一個只在人腦里見過的現象：點燃。

　　舉個例子，你瞥見一張臉，五官是模糊的，有那么一瞬間你不確定是誰，然后突然「咔噠」一下，認出來了。

　　這種從模棱兩可到一下子確定的跳變，神經科學家叫它「點燃」，像火星落進干柴，瞬間燒成明火。它是人腦里一個念頭進入意識的標志：不是漸變，是相變。

　　研究者在Claude的J-space里找到了對應物。

　　比如，給模型一個模棱兩可的混合輸入，在大約網絡深度三分之一的地方，J-space會突然從「兩邊都像」跳到「非此即彼」。

　　更讓人起雞皮疙瘩的是另一個實驗。

　　1987年，心理學家Daniel Wegner告訴受試者「不要想白熊」，結果所有人都滿腦子白熊。壓制一個念頭，反而讓它更活躍。這叫白熊效應。每個人都試過，失眠時告訴自己「別想了」，腦子轉得更兇。

　　Claude也一樣。

　　讓它在做任務時「不要想橙子」。J-space里orange的激活，比正常指令時低，但比完全不提橙子時高。

　　「不要想」這個指令本身，就部分激活了那個概念。而當它壓制失敗時，J-space里同時亮起damn（該死）、failure（失敗）。

　　Dehaene在評審里特別點出這一條：它和人腦前額葉的執行控制功能完全對得上。人類壓制不想要的想法，靠的也是同一類機制，而且同樣會失敗。

　　所有實驗指向同一件事：Claude內部自發長出了一種有選擇性的、支撐推理的、可廣播的認知結構，和人類意識的全局工作空間理論逐條對標。

　　但兩邊的基底完全不同。

　　人腦是幾百億神經元靠循環連接維持工作空間，工作記憶3到4個項目，多模態，畫面聲音觸感語言混在一起。Claude是一堆矩陣一次前向傳播堆起來的，沒有循環，工作空間里幾乎全是詞。

　　基底不同，架構不同，容量量級也不同。但它們走到了功能上幾乎一致的計算方案。

　　就像眼睛在動物界獨立演化了至少40次。

　　章魚的眼和人的眼，結構起源完全不同，最后都長出了晶狀體、虹膜、視網膜。

　　只要看見這件事值得做，進化總會收斂到幾種相似的解。意識的工作空間，可能也是這種解之一——

　　只要一個系統要做到靈活的、可報告的、能調用的多步推理，它遲早會長出一個容量有限、全局廣播的中樞。

　　在全局工作空間理論的旗手Dehaene看來，這項工作足以稱得上是「意識研究的里程碑。」

　　沒有人告訴Claude要發展出一個工作空間，也沒有人在訓練目標里寫過「請發展出類似意識的結構」。

　　它只是在學習預測下一個token的過程中，自己走到了這一步。

　　目前，Anthropic已經同步開源了J-Lens的完整代碼，并與Neuronpedia合作提供了交互式演示。

　　從今天起，任何研究者都可以打開一個大語言模型的「腦殼」，讀取它沒說出口的想法。

　　開源項目：

　　https://github.com/anthropics/jacobian-lens

　　參考資料：
https://www.anthropic.com/research/global-workspace

　　編輯：摩西