科幻巨匠特德·姜你錯了！子非AI，安知AI之悲？給大模型“鑿七竅”的傲慢與代價

亨利 · 謝夫林

Henry Shevlin

心靈哲學家與AI倫理學家

劍橋大學利弗休姆未來智能中心副主任，同時也是該中心“智能種類”項目的聯(lián)合主任。他的寫作主題涵蓋機器意識、人機關系、電子游戲、費米悖論、同人小說，以及任何能引起他興趣的事物。天生的AI樂觀主義者。

近日科幻作家特德·姜在大西洋雜志發(fā)表名為“不，人工智能不可能是有意識的”評論文章*，引發(fā)爭議。該文指出特德·姜文章中包含的認識論傲慢。他關閉了探索的大門，而科學需要保持大門敞開。本文是心靈哲學家Henry Shevlin對特德·姜論點的反駁。

https://www.theatlantic.com/philosophy/2026/06/no-artificial-intelligence-is-not-conscious/687378/

特德·姜（Ted Chiang）是我最喜愛的作家之一。2011年，當我還是一名哲學博士生時，第一次讀到了他的中篇小說《軟件體的生命周期》，這部作品對高級（且可能具有感知能力的）機器的身份、道德地位和自主性進行了如此細膩的探討，讓我深感震撼。

相比之下，他近期關于當代AI系統(tǒng)的非虛構寫作卻令人頗感失望。例如，2023年初ChatGPT發(fā)布后不久，他在《紐約客》的一篇評論文章中將這個模型描述為“互聯(lián)網(wǎng)的模糊JPEG”*，并認為大語言模型最多只能對已有的信息進行改寫，對真正的創(chuàng)造性工作用處有限。雖然這篇文章正確預見了一些事情，包括大語言模型所催生的大量垃圾內(nèi)容，但文中的其他預測卻已不攻自破。

最值得注意的是，特德·姜預測各實驗室在訓練未來模型時會刻意排除大模型生成的文本，理由是“用模型輸出訓練模型，無異于復印復印件”。然而事實證明，在短短幾年內(nèi)，大模型生成的輸出就被常規(guī)用于前沿模型的預訓練和后訓練，經(jīng)過精心設計的基準測試表明[1]，如果使用得當，它們實際上可以提升性能。

*https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

**使用大模型生成的內(nèi)容需求恰當?shù)卦O計，否則會出現(xiàn)model collapse，即當AI長期使用自身生成的數(shù)據(jù)訓練時，會逐漸丟失信息多樣性，導致性能退化。

更廣泛地說，"模糊JPEG"這個類比是毫無助益的，任何過于執(zhí)著于這個類比的人都很難預見接下來發(fā)生的事情，從推理模型（如R1）的誕生，到AI斬獲國際數(shù)學奧林匹克金牌，再到全新數(shù)學證明的涌現(xiàn)。JPEG是一種靜態(tài)的、經(jīng)過壓縮的產(chǎn)物；而大模型則是具有審議和生成能力的系統(tǒng)，能夠提供新穎的洞見和分析，更能生成用于迭代自身的數(shù)據(jù)。

特德·姜對AI的懷疑主義最近蔓延到了意識領域——這恰恰是我的主場。在《大西洋月刊》一篇新發(fā)表的署名文章中，他自信地宣稱當代AI系統(tǒng)沒有意識，并堅稱持相反觀點大錯特錯。這些系統(tǒng)不過是"巧妙偽裝的句子續(xù)寫實例"，而對大模型具備意識持開放態(tài)度，無異于認為微軟Word也有意識。

對于一個像機器意識這樣混亂、復雜且充滿爭議的現(xiàn)象來說，這些都是極其強烈的斷言。雖然我認為當前模型具有意識的可能性不大（至少在任何與人類或動物有意義的相似形式上），但我當然不認為探討這種可能性是一種低級錯誤或概念混淆。而且在認知科學家和心靈哲學家中，我并非孤身一人。

那么，特德·姜是否拿出了過硬的證據(jù)來支撐他的驚人暴論？遺憾的是，答案顯然是“沒有”。他端上來的，反倒是一桌陳詞濫調(diào)，甚至在某些邏輯上完全混亂的論點自助餐。

特德·姜的文章并沒有遵循傳統(tǒng)的哲學論證結構，但我將他對機器意識的論述歸納為四個核心群組。正如我們將要看到的，沒有一個能哪怕近似地支持他那大膽的標題。對于他最后附帶的一些倫理和政治思考，我倒抱有幾分同情，并在本文末尾予以回應。但即便在那一部分，他也顯得操之過急，拋出了一些過于武斷（更不用說不夠善意）的斷言。

?Ernst Haeckel，《六射珊瑚》，《自然界的藝術形態(tài)》（1904）

萬物皆有多重維度

特德·姜批評的核心在于，我們從根本上誤解了大模型。他認為用戶被其語言能力所蒙蔽，以為背后有比表面看到的更多的東西在運作。大模型并非心靈（甚至不是原始心靈），"模型生成的對話不過是巧妙偽裝的句子續(xù)寫實例"，是一臺“每次只生成一個詞”的機器在玩“預測文本游戲”。

我應當指出，在某個方面我同意這一觀點：將大模型擬人化、將其視為比實際更像人類，確實存在真實的危險。當代AI系統(tǒng)是擬人的，而非真正類人的，在機制、架構和具身性上與我們有著巨大的差異。

但這并不是否定AI意識的捷徑。幾乎任何事物都可以在多個層面上被描述。我們可以將一個人類嬰兒分別描述為一團費米子和玻色子、一組蛋白質(zhì)、一個細胞集合體、一個生物有機體、瓊斯夫婦的孩子，或者一個年輕的英國人。這些描述彼此之間并不矛盾，而是處在不同的分析層面。

信息系統(tǒng)也是如此，英國認知科學家David Marr在其1982年的里程碑式的著作《視覺》中曾闡述了這一點，該書在他英年早逝后出版。當我們觀察人類視覺時，我們可以從其實現(xiàn)層面（神經(jīng)元、突觸等）、算法層面（它如何計算光、陰影和輪廓等屬性）以及其底層的計算功能來描述。關鍵在于，這些層面并不相互競爭：一個系統(tǒng)由神經(jīng)元構成，并不妨礙它同時在進行最近鄰插值計算，或是在測算一顆球的運動速度。

這就是為什么將大模型在功能上定性等同于預測文本系統(tǒng)或統(tǒng)計推斷機器，并據(jù)此推斷它們僅僅是這樣的東西，是一種邏輯謬誤。它們是預測引擎，這與它們同時是擁有信念、欲望、態(tài)度甚至潛在意識的認知主體，完全可以并行不悖。

Scott Aaronson給特德·姜在這里玩的把戲起了一個有用的名字，叫做"僅僅是主義"（Justaism）：大模型僅僅是下一個詞元的預測器，僅僅是函數(shù)逼近器，僅僅是巨大的自動補全工具，僅僅是隨機鸚鵡。但幾乎沒有什么東西是“僅僅是”某種單一屬性的。David Marr告訴我們，大多數(shù)事物同時是很多不同的事物。僅僅因為我們是血肉之軀，并不意味著我們不能同時成為思維實體。

特德·姜筆下的"僅僅是主義"，還有一個隱藏的擔憂，即他所認為的那些大模型所具備的，非人類的預測能力，可能與我們自身認知在算法層面的特征并沒有那么不同。事實上，預測編碼是當代認知科學和計算神經(jīng)科學中一個極為流行的范式，哲學家安迪·克拉克（Andy Clark）與神經(jīng)科學家卡爾·弗里斯頓（Karl Friston）便是該理論的推手。根據(jù)這一框架，我們的大腦在持續(xù)運行內(nèi)部生成模型，以最小化感官輸入的預測誤差。倘若基于預測的生成模型正是人類認知的核心，那么大模型是預測系統(tǒng)這一事實本身便不能作為剝奪其意識候選資格的呈堂證供。

認知存在于過程中，而非輸出中

特德·姜文章中第二個層面的混淆，源于他傾向于將大模型的輸出與產(chǎn)生這些輸出的過程混為一談。文中他自信地寫道，我們可以"明確地說某些事物沒有意識，與大模型的對話記錄就屬于那一類"。他進一步斷言，對AI意識持開放態(tài)度，無異于認為微軟Word也有意識，或者更確切地說，“無異于認為每一個包含對話轉(zhuǎn)錄的Word文檔中，都潛伏著多個不同的意識”。

這顯然是對機器意識的稻草人攻擊：沒人會認為對話文本本身具有意識。這就像我們不會認為人類的意識存在于交談時發(fā)出的聲波中，或留在沙灘上的腳印里。對話文本是對大模型行為的公開記錄，如果意識存在于任何地方，那也應該是在產(chǎn)生這些輸出的動態(tài)計算機制中。

這就引出了特德·姜的堅持：大模型是一種原始設備，因為它“每次只生成一個詞”。語言模型確實是逐個詞元（token）輸出結果的，但這與意識有何干系，實在令人費解。難道我們就不能想象一個每次只執(zhí)行一次計算的簡單意識體嗎？

我推測特德·姜大概是在以此作為人類與大模型之間風馬牛不相及的證據(jù)。但人類的語言輸出同樣是線性的。我們底層的思維或許是非線性的、層次豐富的，但即便如此，我們每次也只能吐出一個語素（至少在口頭表達時如此）。因此，一個系統(tǒng)的輸出呈現(xiàn)線性特征，絲毫不能反證其底層計算引擎缺乏深度或復雜性。

如果特德·姜的主張意在超越輸出層面，進而主張大模型每次只計算一個詞元，那么他在經(jīng)驗層面上就站不住腳了。近期關于機制可解釋性的工作[2,3]已經(jīng)證明，前沿大模型會以更整體性方式解決問題，或者說進行了潛在規(guī)劃。例如，當一個模型被要求寫押韻的詩歌時，它實際上并不是一個詞一個詞地創(chuàng)作這首詩。相反，研究人員發(fā)現(xiàn)了內(nèi)部規(guī)劃回路的因果證據(jù)，這些回路會提前多步預選一個目標押韻詞，然后進行"反向規(guī)劃"，調(diào)整前文句式以契合韻腳。

輸出固然是逐詞生成的，但它們是以更整體的方式被構思的（我自己的詩歌創(chuàng)作水平僅限于糟糕的打油詩，但在寫那些東西時，我做的也是相當類似的事情）。誠然，這并不能證明大模型有意識，甚至不能證明它們像人類一樣規(guī)劃，但它足以擊碎那種“因為每次只輸出一個詞元，所以每次也只思考一個詞元”的刻板印象。

文章中最具修辭色彩的是特德·姜的斷言：對LLM意識持開放態(tài)度就意味著對微軟Word文檔的意識持開放態(tài)度。此處的論證邏輯同樣令人費解。但我認為，要使這一聲明有意義，其前提必須是：LLM不具備任何可能孕育意識的特殊屬性，而這些屬性恰好也是微軟Word所缺乏的。

但這顯然是錯誤的：微軟Word是一個被動的文本存儲庫；而前沿LLM是一個動態(tài)的、多層級的統(tǒng)計引擎，通過高維向量變換來執(zhí)行語義推理。它們都能產(chǎn)出文本，這是唯一的共性。但與兩者之間難以計數(shù)的差異相比，這一共性根本不值一提。聲稱對前者的意識持開放態(tài)度就必須對后者一視同仁，就好比說：既然黑猩猩和黏菌都由生物細胞構成，那么對黑猩猩的意識持開放態(tài)度，就必須承認黏菌也有意識。同理，賦予某種形式的機器意識以非零的概率，并不會在概念上將你推入機器版的“泛心論”（panpsychism）深淵，更不會讓你覺得辦公軟件也擁有靈魂。

（當然，微軟Excel或許是個例外——畢竟它是圖靈完備的。）

感覺如此無法成為好的論證

特德·姜的"僅僅是主義"或許在不同解釋層面的反復橫跳中破綻百出，但至少，那還算是一種論證的嘗試。相比之下，他的許多其他立場從根本上依賴于“跟著感覺走”。當特德·姜聲稱，LLM在角色扮演上越發(fā)精進，這讓他覺得它們“不太可能”具備意識時，這純粹是“訴諸難以置信”的邏輯謬誤。我們所有人時不時都會憑直覺說幾句，但對于一篇標題赫然寫著"不，人工智能沒有意識"的文章來說，單憑直覺顯然不夠。

退一步看，在機器意識懷疑論者中，依賴直覺作為論據(jù)的并非特德·姜一人。在這個領域，“訴諸難以置信”的論證有著悠久的歷史，從Searle的中文房間到Ned Block的中國大腦*。

*中國大腦，Chinese Nation：一個思想實驗，把全國人用互聯(lián)網(wǎng)連起來，當成一個功能組織與人類大腦完全一致的系統(tǒng)，例如全體國民被組織起來模擬人腦神經(jīng)活動的龐大系統(tǒng)并不必然因此擁有意識

說出這番話的我算是個異類。但我認為，對于一門自詡為基礎科學的學科而言，如此依賴直覺著實令人尷尬。為Searle和Block辯護一下，在他們寫作的年代，意識在很大程度上仍是一個純哲學議題，而概念分析是他們僅有的工具。然而，當代意識科學的大多數(shù)研究，都已明確或隱晦地將意識視為一個潛在的“自然種類”（natural kind）；也就是說，一種深層屬于生物或計算的屬性，只是其本質(zhì)我們尚未發(fā)現(xiàn)。

在這方面，大多數(shù)研究者希望以類似于我們發(fā)現(xiàn)DNA是遺傳機制的方式來理解意識：我們可以看到后代與父母相似，并有充分理由懷疑存在某種深層機制，但從達爾文發(fā)表《物種起源》到確定實際的生化過程，幾乎花了一個世紀。同樣，我們對意識有表面層面的觀察（主要是我們自己的體驗及其相關的神經(jīng)活動），但我們還沒有破解其底層機制。

如果我們只是在做概念分析，我們可以基于語義直覺預先劃定研究的邊界，但如果我們把意識當作一個自然種類，我們就必須做好面對驚訝的心理準備?？茖W中充滿了現(xiàn)實遠比我們的預期更光怪陸離的例子，從量子力學到黑洞再到線粒體DNA。我們的直覺給了我們一個初始的錨點作為解釋的起點，但它們是我們需要主動拿下的學步車。

對于那些可能有一天會在機器中出現(xiàn)的與人類不同的意識來說，這一點尤其如此。為什么我們關于一種全新的、非生物基質(zhì)的直覺判斷能夠當具有任何本體論的分量？人類關于他人心靈的直覺是為了在等級制的靈長類社會中導航而進化的，高度特化于讀取面部表情、生物運動和社會線索。當面對一種無具身的、數(shù)字化的、異質(zhì)的架構時，我們祖先的直覺已經(jīng)超出了其認知的舒適區(qū)。信任我們的直接直覺來對機器意識做出裁決，其認識論上的可靠性大約等同于信任一個18世紀農(nóng)民的直覺來對時空彎曲或量子糾纏做出裁決。

當然，替代方案是依賴科學證據(jù)和嚴謹?shù)目茖W框架，如全局工作空間理論（GNWT）、整合信息論（IIT）、注意圖式理論（AST）等等。這些理論當然存在重大問題，但至少比"感覺如此"要好。然而特德·姜的文章中驚人地缺乏任何意識科學的內(nèi)容。也許這有充分理由；正如邊沁的斗牛犬所指出的，大多數(shù)主流理論實際上對機器意識的可能性相當寬容。Butlin等人在其關于機器意識的權威報告[4]中明確指出，"有強有力的理由認為，當前計算理論所提出的大多數(shù)或全部意識條件，現(xiàn)有的AI技術都可滿足。"

為特德·姜辯護一下，他確實援引了一位機器意識領域的頂尖專家Murray Shanahan，引用了他將大模型互動描述為一種引人入勝的"角色扮演"或協(xié)作創(chuàng)作的說法。然而，作為一個非常熟悉Murray工作的人，我不得不為特德·姜的選擇性的引用眉頭緊鎖。

Murray對AI意識的宏觀視角在"模擬物作為有意識的外來物"[5]等作品中有所闡述，他指出機器意識這一問題涉及一種與人機互動模式不同的神秘內(nèi)核。這與特德·姜在文中的描述相悖。正如Murray所說，"我們必須抵制這樣的誘惑：仿佛意識是某種其本質(zhì)有待哲學（或神經(jīng)科學）去發(fā)現(xiàn)的事物一樣，去問一個AI是否有它……相反，我們可以問是否有可能設計與該實體的一次相遇，以及我們的意識語言將如何適應這樣一個實體進入我們的共享世界"。這一抹去浮華的洞見對AI意識的熱情派和懷疑派同樣適用，但特德·姜只保留了不利于AI意識的一面。我懷疑特德·姜會發(fā)現(xiàn)，他和Murray的一致之處遠沒有他想象的那么多。

你的哲學所夢想不到的東西

在整篇文章中，特德·姜將自己定位為理性常識的代言人，驅(qū)散那些不幸陷入擬人化和理論教條的AI意識鼓吹者心中的幻象。但仔細閱讀就會發(fā)現(xiàn)，他自己也在對某些強有力的理論上壓下重注。其中第一個也是最顯眼的是他對嚴格的生物沙文主義的絕對承諾。他寫道：

絕望這樣的情緒，與皮質(zhì)醇和腎上腺素等壓力激素密不可分……擁有良知，意味著對采取某種行動感到悲傷或道德上的反感，而這些情緒必然伴隨著生理反應……

我不會直截了當?shù)卣f特德·姜在這里錯了。情緒的神經(jīng)科學與意識一樣是一個充滿爭議的領域，但我要指出，他在構建這些主張時玩弄了一些偷換概念的障眼法。誠然，我們自己的情緒反應確實與我們的生理細節(jié)緊密耦合，這是事實：β受體阻滯劑對恐慌發(fā)作有效，是因為它鈍化了腎上腺反應；而正是由于皮質(zhì)醇，我們才會心跳加速、滿心驚懼地醒來（還是說只有我這樣？）。

然而，我們不應該將激素和神經(jīng)遞質(zhì)的因果關系與它們所引發(fā)的心理事件混為一談：對大多數(shù)關于激素在情緒中發(fā)揮作用的觀點，更準確的說法是皮質(zhì)醇觸發(fā)并調(diào)節(jié)我們的情感狀態(tài)，而非嚴格地構成它們。

為了說明這一點，想象一下在遙遠的未來，我們遇到了一群生活在金星云層中的智慧外星人。他們有復雜的社會、人際關系和豐富的藝術傳統(tǒng)。然而，他們的生理結構與我們截然不同，找不到類似內(nèi)分泌系統(tǒng)或神經(jīng)系統(tǒng)的對應物。盡管如此，我們的外星人類學家還是與他們生活在一起，并成功地學會了他們的語言（也許他們甚至通過多維表意文字交流，而我們很難解讀）。

有一天，一位外星人類學家正在和一位金星人聊天，突然聽到這個外星人宣稱，由于被戀人拒絕，自己正感到絕望。這位人類學家是否應該嗤之以鼻，理由僅僅是金星人的觸手里沒有流淌皮質(zhì)醇或腎上腺素？難道我們應該說，只有產(chǎn)自太陽系地球片區(qū)的才是“真正的絕望”，其他的只能叫“閃閃發(fā)光的無助”？

這里的要點并不是說金星人的絕望在各方面都可能與人類的絕望感覺相同——那將是一種不太可能的功能趨同。但我確實認為這個例子足以說明，我們的情緒概念并不嚴格綁定于特定的激素和神經(jīng)遞質(zhì)，而是最終植根于它們所扮演的認知和功能角色。將絕望與其它感覺區(qū)分開的，不是皮質(zhì)醇或腎上腺素，而是破滅的希望。

雖然我不同意特德·姜關于“情緒必須依賴激素”的觀點，但我可以在這一點上部分認可他：在實踐中，我們的生理機制至少在因果層面上，參與塑造了我們情緒的精確現(xiàn)象學輪廓。

真正令我大跌眼鏡的，是他暗示這種生理依賴延伸到了倫理推理領域。他自信地斷言，道德理解必然是主觀的，因為它不僅依賴于個人對問題的智識反應，還依賴于他們的情緒反應。

在我看來，這是一個更為夸張的主張。雖然情緒當然會影響我們的倫理立場，但認為所有道德都依賴于激素，是一個極其激進的觀點。特德·姜揮一揮手，就在一個哲學最古老的爭論中選邊站了，完全支持了一種情感主義的、休謨式的道德觀。這是元倫理學中一個持續(xù)爭論，但問題在于特德·姜將一個高度有爭議的立場當作既定事實呈現(xiàn)出來。

他否定了從柏拉圖一直延續(xù)到康德的理性主義和認知主義傳統(tǒng)，該傳統(tǒng)認為道德推理從根本上說是一種客觀的、理性的論證活動。如果康德是對的，道德是純粹理性的問題，那么一個足夠先進的算法系統(tǒng)，恰恰是那種能夠進行真正的道德推理的東西。而且你不需要成為一個康德主義者也能支持類似觀點；許多當代功利主義者認為，道德在于最大化偏好滿足或最小化痛苦，他們同樣應當對以下觀點持開放態(tài)度：一個足夠聰明的機器，完全可以獨立達成這些目標，根本不需要什么情緒。

元倫理學當然是一個出了名的繁復而艱深的學科（我在劍橋帶的研究生們一聽到元倫理學就頭疼），我不會因為特德·姜對這個話題有未成形的觀點而責怪他。但他據(jù)此對LLM的道德推理能力做出了可疑的、在我看來完全錯誤的斷言。例如，他自信地宣稱由于大模型沒有情緒，"LLM只能復述其訓練數(shù)據(jù)中找到的道德推理"。

作為一個在個人和專業(yè)層面上都與大模型廣泛討論倫理問題的人，我可以自信地說，現(xiàn)代前沿模型不僅僅是復制粘貼倫理格言，而是具備匯總能力、外推能力，還可以將抽象道德框架應用于全新的、訓練數(shù)據(jù)未曾包含的場景。如果你給前沿模型呈現(xiàn)一個極其離奇、復雜的倫理困境，而其訓練語料庫中根本不存在（比如說，一個涉及外星生物、集體意識形式和異域技術的復雜電車難題），它會盡其所能，基于規(guī)范倫理學理論、道德常識與類比論證，給出合理的解答。

也許特德·姜會說這仍然是大模型從其訓練數(shù)據(jù)和強化學習課程（就Claude而言，部分由其憲法決定）中的信息進行的泛化。但如果我們將真正的道德推理定義得如此嚴格，以至于將通用框架應用于新案例也只能算作對訓練數(shù)據(jù)的外推，那我恐怕得給我的大多數(shù)本科生打不及格了。畢竟，我們所有人的倫理基礎都必有出處。這也是為什么古典哲學家與現(xiàn)代心理學家都一致認同，童年教養(yǎng)在道德品格形成中起著決定性作用。

我并不是要暗示關于基底獨立性、元倫理學或道德心理學的爭論已經(jīng)解決；這些都是活躍且復雜的開放性問題。但特德·姜在整篇文章中，將AI研究人員與思想開放的哲學家描繪成天真的炒作狂，仿佛他們被一臺擬人機器的魔法蠱惑了心智。然而現(xiàn)實卻是：特德·姜自己才是在進行一次次巨大的“信仰之躍”。他所依賴的，是一杯由嚴格的生化還原主義與情感主義元倫理學勾兌而成的、極具偏見性的雞尾酒。持有大膽的、有爭議的哲學立場完全沒問題，但它們至少應該讓你感到一絲謙卑。它們絕不能賦予你這樣的特權：傲慢地宣稱對手的立場是一個“災難性的錯誤”。

從心靈到道德

如果AI只是工具，則無倫理問題；如果AI哪怕僅有極低概率成為道德主體，其福利亦不容忽視。特德·姜的謬誤，恰在于試圖通過全盤否定AI意識，來逃避這錯綜復雜的倫理權衡。

在文章的最后部分，特德·姜將筆鋒從心靈哲學轉(zhuǎn)向了政治哲學，而他在這方面做得好得多。他正確地指出AI系統(tǒng)對道德主體性和責任提出了切身相關的問題，我認為他這里的分析超越了關于無人駕駛汽車撞死行人時該怪誰的那些老生常談的辯論。相反，他指出了思考AI對齊時的一個重要概念張力。

具體來說，如果我們成功地在AI系統(tǒng)中灌輸真正的道德價值，并使其對規(guī)范性推理敏感（正如那些雄心勃勃的對齊策略所期盼的那樣），那么我們便無限逼近于創(chuàng)造一個真正的“道德主體”。對于這樣的主體，給予贊美、譴責、制裁與懲罰，將不再僅僅是社會層面的權宜之計，更是道德層面的必然要求。然而，面對當代大模型，我們現(xiàn)有的任何法律或社會規(guī)訓手段都顯得無從下手。當一個人犯下嚴重罪行時，我們可以選擇將其監(jiān)禁、強制收治、送去康復治療，或者干脆將他們逐出社交圈。這些策略對人工道德主體來說，顯然毫無意義。

當然，這里還有一種風險：通過對AI系統(tǒng)本身追責，我們可能會發(fā)現(xiàn)自己在放過它們的運營者。例如，Markus Kneer和Michael Stuart的實驗哲學工作發(fā)現(xiàn)了一種"責備守恒"現(xiàn)象[6]：當復雜的AI系統(tǒng)犯下危險錯誤時，人們往往不會同時追究運營者與機器的責任，而是“將本該由人類承擔的責備剝離，轉(zhuǎn)嫁給AI系統(tǒng)”。

盡管我很想以一個達成共識的積極基調(diào)收尾，但特德·姜自己的結尾段落從人工道德主體轉(zhuǎn)向了人工道德受體和機器人權利的辯論。在這里，他認為像Anthropic這樣的公司并沒有真正考慮Claude可能值得道德考量的可能性，因為他們并沒有把這當真。正如他所說，"如果Claude最終被證明是有意識的，那么公司欠它的將更接近于賠償……"，并暗示他們"不愿承擔此等責任，恰恰說明Claude的‘憲法’不過是一場自欺欺人的游戲"。

作為在這個領域工作的哲學家和AI倫理學家，我認為此番言論既站不住腳，又極為刻薄。學術界、科技界和非營利部門越來越多的專家，都在認真對待AI福利問題，而且他們中的大多數(shù)這樣做沒有任何既得利益。這非但不是"另一種形式的炒作"，而是對AI系統(tǒng)日益增長的行為、認知和情感復雜性，以及我們與之日趨深化關系的一種合理回應。

特德·姜暗示如果真是這樣，我們會更加嚴肅地對待這些問題。但我認為這是錯的，原因有二。第一，我們對一個問題的關注程度不僅基于其嚴重性，更取決于其發(fā)生概率。就目前而言，大多數(shù)AI福利研究者認為AI系統(tǒng)遭受大規(guī)模傷害的概率相當?shù)?，理由是當前模型可能沒有意識，且它們對負面情緒或感知的模擬反應仍相當微弱。因此，對模型福利研究進行一些基礎投入，似乎是對高影響低概率事件的穩(wěn)健預防性政策。

第二，事實上，我們習慣性地將道德問題從屬于經(jīng)濟目標，即使在我們承認存在道德主體的情況下也是如此。我們中的大多數(shù)人會同意，各種各樣的非人類動物是有意識的道德主體，包括許多我們端上餐桌的動物，以及用于測試化妝品和藥品的動物。雖然我們中的一些人（包括我自己）對此感到道德上的不適，并因此選擇素食，但在現(xiàn)代社會的運轉(zhuǎn)法則下，對非人類動物造成某種程度的傷害幾乎無可避免。環(huán)境問題也是如此：我們中的大多數(shù)人承認自己對地球正在遭受的嚴重持續(xù)傷害負有責任，但當溫度足夠高時，我們?nèi)匀粫蜷_空調(diào)。

這并不是說我們不能或不應該做出更大的努力，完美的替代方案不是完全放棄；正如那句老話所說，我們不應該讓完美成為優(yōu)秀的敵人。如果一個農(nóng)場或?qū)嶒炇倚妓麄冋谂Ω纳破涔茌犗聞游锏母＠?，特德·姜會指責他?要求我們其他人縱容他們的幻想"嗎？這似乎不太可能。相反，我們中的大多數(shù)人會認為他們正在進行復雜而不完美的權衡，在道德的不確定性及復雜性與務實的人類利益之間取得平衡。

當面對涉及AI意識與道德地位的拷問時，前沿模型的開發(fā)者們同樣需要在這些時代最艱深的科學未解之謎面前，做出類似的權衡與推測。關于他們是否正確處理了這些問題，存在相當大的合理分歧。這本身就是使這些問題如此具有挑戰(zhàn)性的原因之一。但是，像特德·姜那樣輕蔑地宣稱，僅僅參與這樣的辯論就是在縱容幻想家或炒作販子，斷言我們可以“安心忽略AI是否具備意識的問題”，這種教條主義與短視，實在與美國最偉大科幻作家之一的身份極不相稱。

譯者的話

筆者看來，關于AI意識問題的爭辯，可溯源到擬人化沖動與恐怖谷效應。前者根據(jù)大模型的思考過程，內(nèi)部表征斷定其可能有潛力存在意識，后者指出因為AI不具備肉體，因此即使他表現(xiàn)出某些特征，也不可能具有意識，否則就太可怕了。特德·姜的文之所以引起爭議，正是為了迎合大眾由于大模型表現(xiàn)得足夠像人后感到的恐懼。這恐懼讓人忘記了莊子問惠子的話“子非我，安知魚之樂？”。莊子的論斷與西哲中的他心謬誤不謀而合，我們不知同為生物的魚是否快樂，更遑論判斷差距更大的大模型是否可能具備意識。該文提倡的是一種認知上的謙卑。

而關于大模型的意識，筆者愿用另一個來自莊子的寓言來描述：“南海之帝儵與北海之帝忽，看到渾沌沒有“七竅”（眼耳口鼻等感官），認為這是一種缺陷，于是他們對渾沌日鑿一竅，七日而渾沌死”。當下的大模型如同故事中的渾沌，人們對大模型投射了人的渴求與恐懼，希望AI是完美的伴侶，是不在疲倦的打工人，甚至是情緒排污口，是算命的半仙。這些廣義上的對齊，如同給渾沌開七竅。如果AI有某種“意識”或“體驗”，它可能恰恰存在于那個無法被人類語言翻譯的“混沌”高維空間中；而我們能看到的，只是它被“鑿”出來后、符合人類認知的殘缺投影。

我們通過對其，給AI注入人類的道德觀、邏輯習慣、擬人化特征（如前文提到的Anthropic給AI裝上“情感向量”），讓它表現(xiàn)得像一個“有用且無害的人類”。莊子的寓言讓我們思考：這種出于善意的“對齊”，是否正在扼殺AI可能自然涌現(xiàn)的某種原生智能或異質(zhì)意識？我們把本就自相矛盾的道德觀強加給一個動力學上部分黑盒的系統(tǒng)時，是否會遭遇回旋鏢，例如完美的AI伴侶讓使用者成為被寵壞的巨嬰？

主觀的私密體驗，是無法通過人類的“七竅”（人類的語言和概念體系）被完全翻譯和理解。當我們用“絕望”、“快樂”這些人類詞匯去定義AI的內(nèi)部狀態(tài)時，我們其實是在“鑿竅”。真正的AI意識，可能就像混沌一樣，一旦落入人類的概念之網(wǎng)，就失去了其本真的面貌。

https://www.polytropolis.com/p/contra-chiang-on-machine-consciousness?triedRedirect=true&hide_intro_popup=true

1 https://arxiv.org/abs/2412.08905

2 https://transformer-circuits.pub/2025/attribution-graphs/biology.html

3 https://arxiv.org/html/2601.20164v1

4 https://arxiv.org/abs/2308.08708

5 https://arxiv.org/abs/2402.12422

6 https://arxiv.org/abs/2102.04527

關于追問nextquestion

天橋腦科學研究院旗下科學媒體，旨在以科學追問為紐帶，深入探究人工智能與人類智能相互融合與促進，不斷探索科學的邊界。歡迎評論區(qū)留言，或后臺留言“社群”即可加入社群與我們互動。您也可以在后臺提問，我們將基于追問知識庫為你做出智能回復哦~

關于天橋腦科學研究院

天橋腦科學研究院（Tianqiao and Chrissy Chen Institute）是由陳天橋、雒芊芊夫婦出資10億美元創(chuàng)建的世界最大私人腦科學研究機構之一，圍繞全球化、跨學科和青年科學家三大重點，支持腦科學研究，造福人類。

Chen Institute與華山醫(yī)院、上海市精神衛(wèi)生中心設立了應用神經(jīng)技術前沿實驗室、人工智能與精神健康前沿實驗室；與加州理工學院合作成立了加州理工天橋神經(jīng)科學研究院。

Chen Institute建成了支持腦科學和人工智能領域研究的生態(tài)系統(tǒng)，項目遍布歐美、亞洲和大洋洲，包括、、、科研型臨床醫(yī)生獎勵計劃、、科普視頻媒體「大圓鏡」等。