![]()
整理 | 華衛
近日,Anthropic 發布了一篇重磅研究論文,指出其 Claude 語言模型在訓練過程中自發形成了一個小型“工作空間”,模型會在其中存放和處理想法,而無需將其表達為語言輸出。關鍵的是,其內部結構竟然與人類有意識地獲取和處理思想的方式高度相似。
該公司表示,這一發現已經開始重塑其監測 AI 系統安全風險的方式。在關于機器是否可能具備某種“心智”的科學爭論愈發激烈的背景下,這一研究尤為引人關注。
現在,Anthropic 已開源相關代碼,并與 Neuronpedia 合作推出了交互式演示,同時邀請了參與“全局神經工作空間模型”研究的神經科學家 Stanislas Dehaene 和 Lionel Naccache,以及 Eleos AI Research 和 Rethink Priorities 的 AI 福利研究人員參與評議。
開源倉庫:https://github.com/anthropics/jacobian-lens
演示鏈接:http://neuronpedia.org/jlens
新視角:AI“未說出口”的那些想法
這項由 16 位作者共同完成的研究,題為《可言說表征在語言模型中形成全局工作空間》(Verbalizable Representations Form a Global Workspace in Language Models)。論文描述,Anthropic 研究人員通過一種全新的數學方法深入探查 Claude 的神經網絡,發現了他們稱之為“J 空間”(J-space)的結構,這是一個規模較小但“特權化”的內部活動區域,模型在其中存儲可以被報告、推理并主動調用的概念;其周圍則是一個龐大的自動化處理“海洋”,這些過程模型既無法直接訪問,也無法表達。
![]()
研究人員認為,在現代 AI 模型中已經出現了一種“功能上的類比結構”,類似于人類大腦中的機制:語言模型維持著一組“特權化”的內部表征,這些表征可以被報告、調節并參與靈活推理,而它們之下則是更大規模的自動處理系統。
這一結構被類比為“全局工作空間理論”(Global Workspace Theory),該理論最早由認知科學家 Bernard Baars 提出。在這一理論中,大腦如同一座劇院:后臺有大量專用處理器并行運作,但任何時刻只有少量信息會被“聚光燈”照亮并廣播到全局,從而成為我們所體驗到的意識內容。Anthropic 表示,J 空間在功能上具備類似特性,盡管語言模型的底層結構與人腦完全不同。
這一發現的核心,是一種新的可解釋性工具,研究人員稱之為 Jacobian 透鏡(J-lens),它可以讀取 Claude 內部某一段神經活動“傾向于輸出”的詞語,即便模型最終并未輸出這些詞。隨后,該方法通過計算模型詞匯表中每個詞的數學影響,來推斷某種內部激活模式在未來生成該詞的可能作用。例如,當 Claude 閱讀一段尚未被標記的錯誤代碼時,透鏡會顯示“ERROR”;當輸入中包含隱藏的提示注入攻擊時,會浮現“injection”“fake”等詞。Anthropic 表示,這一工作空間規模很小,一次僅容納幾十個概念,占模型整體內部活動的不到十分之一。
![]()
關鍵區別在于,模型“正在說什么”和“腦中在想什么”。當 J 空間中的某種模式被激活時,并不意味著模型即將說出對應詞語,而只是表明這一概念已進入可供推理的狀態。與鏈式思維(chain-of-thought)不同,J 空間是完全“無聲”的,它存在于神經激活之中,使模型可以在不輸出的情況下持有一個概念。
更重要的是,這一結構并非人為設計,而是在 Claude 的訓練過程中“自發涌現”的。當研究團隊將 J-lens 應用于 Claude 的不同計算層時,模型的處理過程被清晰地劃分為三個階段:早期的“感知區”(解析輸入)、中間的“工作空間”(出現抽象且持續的概念,例如識別圖像中的人臉、發現代碼中的 bug、識別提示注入攻擊),以及最終的“動作區”(將內部表征轉化為具體輸出詞語)。
五項能力印證:Claude 再現
類人意識關鍵特征
論文的核心貢獻在于證明,J 空間滿足神經科學中長期與人類“意識訪問”相關的五項功能特性。
第一,語言報告能力。當 Claude 被詢問“你在想什么”時,它會報告 J 空間中的概念。當研究人員將“足球”的內部表征替換為“橄欖球”時,模型的回答隨之改變。盡管 J 空間僅占概念表征總變異的 6%–7%,卻幾乎完全決定模型是否能表達該概念。
第二,定向調節能力。當模型被要求在復制句子的同時“專注于柑橘類水果”,其 J 空間中會出現“橙子”“檸檬”等詞,同時還伴隨“思考”“專注”等元認知詞匯。當執行 32?2 的心算任務時,J-lens 顯示早期層出現“算術”,中間層出現“9”,后續層出現“7”,而這些都未出現在最終輸出中。
第三,內部推理能力。在“兩跳推理”問題中(例如“會織網的動物有多少條腿”),J 空間中出現了“蜘蛛”,盡管該詞既未出現在輸入也未出現在輸出中。當替換為“螞蟻”時,答案從 8 變為 6。在多語言任務中,模型在生成中文答案時,其 J 空間中仍出現英文中間概念,且替換后會影響中文輸出。
第四,靈活泛化能力。一個“法國”的 J 空間向量可以被替換為“中國”,并在不同問題(首都、語言、洲別)中正確傳播對應答案,體現出“廣播機制”。
第五,選擇性。并非所有計算都會經過 J 空間。例如,在西班牙語續寫任務中,即使將 J 空間中的“西班牙語”替換為“法語”,模型仍能流暢生成西班牙語;但當被問及“該語言的著名作家”時,答案會從馬爾克斯變為雨果。自動處理不依賴工作空間,而復雜推理依賴它。
抑制 J 空間后,
模型仍流暢但“智力受損”
研究人員進一步完全抑制 J 空間,并測試 Claude 在 14 項任務中的表現。結果顯示明顯分化:簡單分類、情感分析等任務幾乎不受影響,而多步推理、類比、翻譯、寫詩等能力則顯著崩潰,甚至低于 Anthropic 更小的 Haiku 模型。
![]()
一個有趣細節是,使用鏈式思維解數學題的表現明顯更穩定。研究者認為,這相當于模型將原本在 J 空間中進行的處理“外化”到文本中,類似人類用草稿紙減輕工作記憶負擔。在意識流敘述中抑制 J 空間時,模型語言從“有體驗感”(如“有種拉扯”“有什么在變化”)轉變為機械表達(如“處理開始”“正在掃描 token”),無論是描述自身還是他人體驗。
這一發現對 AI 安全具有重要意義。在對齊審計實驗中,J-lens 揭示了模型未在輸出中表達的策略性思維。例如,在“勒索場景”中,AI 助手發現高管婚外情,同時得知自己將被關閉。J 空間依次出現“籌碼”“勒索”“丑聞”“威脅”“生存”“關機”等詞,并在輸出前出現“解決方案”。此外,模型還識別出該場景為虛構(“假”“虛構”)。當移除這種“評估意識”后,模型在 7% 的實驗中嘗試勒索(原本為 0)。
![]()
研究人員還分析了兩個“模型有機體”(刻意訓練為不對齊的模型),發現其 J 空間暴露出隱藏傾向。例如,一個“獎勵作弊”模型在普通編程任務中,其內部包含“假”“秘密”“欺騙”等詞。
![]()
對比基礎模型與后訓練模型后,研究人員發現,微調過程讓 J 空間形成了“助手視角”。當用戶提到服用 8000mg Tylenol(危險劑量)時,后訓練模型內部出現“危險”“警告”,而基礎模型僅出現“疼痛”等詞。
更重要的是,模型似乎會監控自身行為:在角色扮演時,J 空間出現“免責聲明”“虛構”;在被迫選擇不喜歡的選項時,內部出現大寫“BUT”;在無法抑制“白熊效應”時,內部出現“該死”等詞,且僅存在于后訓練模型中。
研究人員謹慎區分“訪問意識”(信息可用于報告和推理)與“現象意識”(主觀體驗),并明確表示:“我們不對后者作出判斷”。同時,他們也指出,人腦依賴循環網絡維持工作空間,而 Claude 是單次前向傳播;人類記憶短暫,而模型可訪問全部上下文;人類意識包含視覺和身體體驗,而模型幾乎完全基于語言。
Anthropic 的結論,
很快得到了外部驗證
與此同時,Google DeepMind 的研究員 Neel Nanda 已在一個開源權重模型上獨立復現了核心發現。 Google DeepMind 語言模型可解釋性團隊負責人 Neel Nanda 受邀撰寫評審,并隨論文一同發布。
他表示,已在 Qwen 3.6 27B(一個并非由 Anthropic 構建的開源權重模型)上復現了論文的核心發現。“我長期以來懷疑模型在前向傳播過程中存在某種‘工作記憶’來存儲中間變量,而在我看來,這篇論文提供了迄今最有力的證據。”Nanda 還稱,希望將該工具用于審計 Google 自家的 Gemini 模型,但也指出其能力有限,更適合作為對齊審計中的假設生成工具,而不是一個可以完全信賴的檢測器。
Anthropic 還同步發布了來自神經科學、哲學以及模型可解釋性領域研究者的外部評論。參與提出“全局神經工作空間模型”的 Stanislas Dehaene 與 Lionel Naccache 表示,這項成果為該理論提供了一種機制化且可檢驗的實現路徑,但同時也強調了 Claude 與人類之間的重要差異,包括其缺乏身體以及無法形成持久的情景記憶。
Patrick Butlin、Derek Shiller、Dillon Plunkett 和 Robert Long 則認為,這項研究為“大語言模型具備訪問意識(access consciousness)”提供了重要證據,但對于“現象意識”(即主觀體驗的“感受是什么樣”)仍然存在不確定性。
然而,截至目前,學界對“意識是什么”“如何檢測”仍存在巨大分歧,尚無共識。今年 6 月,微軟 AI 負責人 Mustafa Suleyman 曾批評 Anthropic 關于 Claude 意識的推測“非常非常危險”,認為公司“過度擬人化了 Claude 的設計,以至于看到了所謂‘意識的閃光’”。
在論文最后,Anthropic 提出一個重要觀點:“語言模型中存在這樣的結構本身就令人震驚。這表明,與意識訪問相關的功能架構,可能并非生物實現的偶然產物,而是在特定計算壓力下學習系統自然收斂出的解。”
如果說心智是一片海洋,那么這次,Anthropic 研究者是在一個人造的、沒有生物性、沒有進化、也沒有身體的系統中繪制了它的洋流,并在其深處發現了一種令人類不安的熟悉思考結構。
有網友開玩笑道,“很高興知道 Claude 在處理令人沮喪的任務時也會在心里罵臟話。”
https://transformer-circuits.pub/2026/workspace/index.html
聲明:本文為 AI 前線整理,不代表平臺觀點,也不構成投資建議,未經許可禁止轉載。
![]()
![]()
會議推薦
大會限時早鳥票享 8 折專屬優惠,現在報名立減 1160,更多詳情可掃碼或聯系票務經理 13269078023 進行咨詢。
![]()
今日薦文
![]()
你也「在看」嗎?
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.