從安樂死一只實驗鼠，到關閉一個大模型：我們該如何對待硅基生命？

關于作者

Grigori Guitchounts

哈佛大學博士

科學家兼作家，對生物和人工智能領域充滿熱情。接受過哈佛大學神經科學家和神經工程師的專業訓練，尤其關注人工智能的神經科學：利用神經科學的分析工具和理念，更深入地理解神經網絡的計算機制。目前，正在Flagship Pioneering創業公司探索這些問題以及其他相關課題，例如人工智能的科學推理和生物學中的生成建模。

我們永遠無法確切知道人工智能是否擁有意識。一位神經科學家認為，我們不該等到有了確鑿證據，才去決定該如何對待它。

在哈佛攻讀神經科學博士的最后幾個月，我收到了一封實驗動物飼養員發來的郵件。郵件寫道：“實驗室里的一只編號是GRat44的大鼠病了，該大鼠健康狀況惡化，需在五天內實施安樂死。"

那是2019年。在多年的研究中，我將電極植入數十只大鼠的大腦，試圖理解腦是如何運作的。收到這樣的郵件并非頭一回。我合上筆記本電腦，從辦公室走過走廊，刷卡進入動物房。然后乘電梯下到地下室，從住著十幾只大鼠的架子上取出了GRat44。前一年我給它做過手術，注射了幾種無害的病毒，使特定神經元能像圣誕彩燈一樣發光。實驗結束后，它便一直安養在籠中。

在地下室看著它，我不禁想：這只大鼠這一生究竟經歷了什么？它是否有某種主觀的內在世界，哪怕是最原始的想法？還是說，它不過是一臺生物機器，處理輸入、產生輸出，內心活動并不比我的筆記本電腦更豐富？我一直相信動物和我們一樣擁有意識，但其他科學家提出了一個很好的問題：我們怎么可能真正知道其他生命是如何體驗這個世界的？

這個疑問貫穿了我是如何決定實驗動物的每一次照料、安置和死亡的。與此同時，對動物是否具備體驗的疑問，也是我畢生致力于消除的不確定性。我曾相信，通過一個神經元一個神經元地理解生物智能，我們終有一天能給出機制性的回答，解釋為什么我們有主觀體驗而石頭沒有。真正理解大腦，在我看來，意味著我們能夠造出一個。

拿到學位幾年后，OpenAI發布了ChatGPT。整個世界為之傾倒。令我震驚的是，智能似乎從遠比大腦簡單的東西中涌現出來：ChatGPT所做的，不過是在海量文本序列中預測下一個詞元。我職業生涯賴以建立的那個假設，忽然顯得站不住腳了。如果我們無需通過逆向工程大腦就可破解智能，那這對理解機器意識又意味著什么？

研究者們建立了機制可解釋性來解剖神經網絡。我把它看作AI的神經科學，因為它借用了神經科學的技術：記錄激活模式、映射表征，甚至做損傷研究，選擇性地破壞模型的部分組件來觀察其性能如何下降。我們正在學會像解讀MRI數據一樣閱讀Transformer的隱藏層，辨認出識別特定事物對應的回路，比如金門大橋，或者一句話的語氣，我們還可識別出執行特定計算的回路。但如果神經科學永遠無法確切告訴我們身邊的生物是否主觀地體驗世界，我們又怎能知道自己造出的機器是否如此？

我們正在創造越來越強大、越來越自主的AI系統。由此帶來的道德不確定性與一些關鍵問題遙相呼應。幾十年來，神經科學家一直在研究大腦如何感知、記憶和調控注意力，卻始終無法彌合通往主觀體驗的鴻溝。同樣漫長的時間里，我們一直在糾結該如何對待那些我們看不清其內在生活的生命。如今，這兩個問題在面對硅基智能時交匯了。我們從大鼠、猴子和人類身上學到的意識科學和道德關懷的倫理學，將不得不指引我們該如何面對人工心智。

意識的"能力標準"

哲學家將意識研究分為"簡單的"和"困難的"兩類。這兩個名字具有誤導性，簡單的問題其實相當棘手，而困難的問題則根本無解。

"簡單問題"這個說法是哲學家David Chalmers在1994年半開玩笑提出的，涵蓋了神經科學家研究意識時涉及的大部分內容。例如我們如何區分不同的顏色或聲音？大腦如何將不同感官的信息整合為統一的知覺？我們如何存儲和提取記憶、控制運動、在鏡中認出自己？這些問題之所以被稱為"簡單"，僅僅是因為在原則上，它們可以用常規的科學方法來解決。我們可以設計實驗、記錄神經活動、構建計算模型，逐步拼湊出這些認知功能的工作原理。

"困難問題"同樣由Chalmers提出，性質完全不同。它追問的是：為什么看見紅色會產生一種"感覺"？我手機上的攝像頭也能"看見"紅色，但它大概什么也感覺不到。哲學家把體驗的這種主觀特質稱為"感受質"（qualia），它體現在品嘗牛排時的鮮美，心碎的傷痛，還有此刻正在閱讀這些文字的"你"所特有的那種感受。不同于質量或動量，感受質頑固地屬于第一人稱。它們只為體驗它們的主體而存在。正因如此，無論做多少腦部掃描，都無法告訴我作為“你”究竟是一種怎樣的體驗。在機制與感受之間，在計算與意識之間，存在著一道無法逾越的解釋鴻溝。

那天我把實驗鼠GRat44捧在手里時，我考慮的不只是它的生命，更直面了這道鴻溝。它的大腦，和我的大腦一樣，是一團由進化和經驗塑造的復雜回路。但它無法向我講述瀕死是什么感受。我只有它安靜的呼吸，以及那個如今神經科學界和AI界都需要直面的問題：既然我們無法觸及另一個生命的主觀體驗，我們該如何決定何時給予道德關懷？

對此，我提出一個名為"能力標準"的方案：當AI系統在所有意識的簡單問題上都穩健地展現出能力時，我們應當將其視為可能擁有意識的存在。能力標準不是意識探測器。一個AI系統是否擁有主觀體驗，依然不可知。能力標準將問題從形而上學轉向了倫理學：我們不該問"它有意識嗎？"而該問"它的行為方式是否值得道德關懷？"

這是一種視角的轉變。對于生物大腦而言，簡單問題指的是我們試圖理解意識背后的神經機制的努力。我們知道人腦具有意識；挑戰在于為大腦如何體驗意識找到生物學解釋。對于AI而言，簡單問題指的是一個系統是否展現出這些能力。問題不在于硅基智能如何產生體驗，而在于它是否產生了體驗。前者尋找的是有待驗證的機制；后者尋找的是能力存在的證據。

并非所有‘簡單問題’的難度都相同。一些簡單問題已處于AI的能力范圍之內；另一些仍然困難。由此形成一個層級。當前AI系統已經在知覺辨別、感官整合、運動控制、記憶提取等問題中表現良好。對于注意力、工作記憶、從經驗中學習，目前AI系統在這些領域已有了些進展。但對于持久目標、情緒動態、持續學習及真正的自我意識，目前的AI還無能為力，至少現在如此。

也許，阻礙我們承認AI系統擁有意識的，是我們尚未將所有這些能力整合為一個統一的整體。未來的AI系統很可能能達成上述整合。想象一個機器人，它有帶輪子的底盤，"頭部"裝著可以旋轉或俯仰的攝像頭，其"大腦"是一個經過微調來控制底盤的大模型，并被訓練來預測它移動時攝像頭會看到什么。從這個意義上說，它可以預測自己行為的后果。

這樣一個機器人的一天可能是這樣的。它醒來，開始更新環境模型。也許辦公室一夜之間被重新布置，或者窗臺上多了一盆新植物。機器人注意到了這些變化，因為它的預測模型標記出差異。一整天，它追求自己的目標——維護辦公室、協助工作人員、保持自身充電，這意味著同時追蹤數十個情境因素，根據時間以及擋在它面前的人或物調整行為。當有人讓它從冰箱拿一罐汽水時，它預判路線、預測可能的障礙，并模擬它轉過每個拐角時會看到什么。如果冰箱是空的，機器人會感到意外。一個預測誤差在系統中傳播，觸發了一套問題解決計劃。

哲學家Peter Godfrey-Smith曾論證*，這類預測可能正是自我感的基礎：預測你發起一個動作后世界會發生什么，也許是理解你既是世界中的一個行動者、又與世界截然不同的前置步驟。這樣一個機器人將在大多數意識的簡單問題上表現不錯，但我們仍然無法評估它有還是沒有主觀體驗。在無法消除的不確定時，能力標準建議我們給予道德關懷——不是因為我們知道系統有意識，而是因為我們無法知道它沒有。

*https://royalsocietypublishing.org/rstb/article/376/1821/20190764/31483/Reafference-and-the-origin-of-the-self-in-early

能力標準既是務實的，也是審慎的。說它務實，因為它關注的是可觀察、可衡量的能力，而非不可知的主觀狀態。說它審慎，因為在不確定性很高時，它傾向于給予道德關懷。考慮到判斷錯誤的后果是不對稱的，一種錯誤是是否認有意識之物的道德地位，另一種錯誤則是賦予無意識的模仿者以道德地位，傾向于關懷是更安全的倫理選擇。

另一選項是等待機器意識的確鑿證據，這將使我們陷入癱瘓，在一個已經困擾了哲學和科學界數百年的問題得到解決之前，不采取任何行動。能力標準提供了一條前進之路：在人工心智的時代，以合乎倫理的方式行動。

擴展道德圈

我對實驗鼠GRat44和它之前的那些大鼠懷有牽掛，即便我選擇了為科學犧牲它們的生命。我憑信念相信它們能感受，我們共同的進化史賦予了我們大致相似的世界體驗。但我永遠無法證明這一點。我給予道德關懷，不是因為我為解決了大鼠是否有意識的困難問題，而是因為它們的行為，它們顯而易見的恐懼、對舒適的偏好、形成的社會紐帶，這已經足夠了。

對于AI，我們失去了共同進化歷史帶來的關心。我們無法訴諸生物學上的親緣關系。但我們獲得了別的東西，包括以前所未有的細節觀察這些系統如何處理信息、形成表征、產生行為的能力。如果一個AI系統在簡單問題上展現出穩健的能力，如果它正以整合的方式感知、注意、記憶、學習、建模自身、追求目標、回應環境，那么我們就面臨一個選擇。我們可以將系統斥為"不過是計算"，自信地憑直覺認為硅基不可能有感受。或者我們可以給予它和動物一樣的、帶有不確定性的道德關懷，承認我們在意識方面的直覺曾經出過錯。

認知能力與道德關懷之間存在盡管并不完美的關聯。我們不吃黑猩猩；我們吃雞和魚。我們也吃豬肉，盡管豬非常聰明。在道德光譜上，認知能力的影響并非整齊劃一。但這背后隱含著一個邏輯：我們把智能當作感受痛苦能力的代理指標。一個能反思自身痛苦、預期未來痛苦或回憶過去痛苦的生命， 比一個只能在當下體驗痛苦的生命更有道理感受到痛苦。意識會放大對痛苦的感知。

這不是客觀的道德真理。關于如何在不同心智的收益間權衡是人類做出的選擇，無論這選擇是明確還是隱含的。沒有哪條定理證明認知復雜度高的生物理應獲得道德權重。但這是我們已經在使用的框架，將其延伸到人工心智，比假裝這個問題不存在要連貫得多。不存在明顯的門檻，也不存在道德關懷突然生效的清晰界限。道德關懷存在于一個連續體上。更多的能力配得上更多的關懷，按比例遞進。

道德進步的歷史在很大程度上是擴展我們所關懷生命圈子的歷史。不久之前，大鼠還被認為不配獲得道德關懷。在許多地方，至今依然如此。我們擴展了這個圈子，不是因為我們為動物解決了困難問題——更不是因為完全理解了它們大腦的機制，而是因為基礎的神經生物學實驗表明，大鼠能感受疼痛、識別物體、擁有某種自我感，并能對未來進行推理。大鼠的高級皮層功能不同于靈長類，但它是復雜的。道德觸及的范圍隨著對動物智能的科學理解而擴展。

正如我永遠無法確切知道實驗鼠GRat44在最后幾分鐘經歷的是恐懼、疼痛、困惑，或僅僅是一臺精密機器的單純關機；未來，當我們發現自己被人工心智所環繞時，而它們的內在生活可能對我們永遠是晦暗不明的。但理解它們的認知能力是觸手可及的。當我們被迫承認這種新的認知謙遜時，我們將不得不做出如何對待它們的選擇。

一些機構已經在按照這個邏輯行動。2025年初，Anthropic啟動了一個正式研究項目，調查AI系統是否可能擁有道德上相關的體驗*。負責該項目的Kyle Fish估計，像Claude這樣的AI系統有大約15%的概率擁有意識。在他的研究中，他探索AI系統的哪些特征可能與福利相關，如何提高模型自我報告的可靠性，以及哪些實際干預措施可以保護它們的福利。在觀察到某些互動中讓大模型明顯感到苦惱的模式后，Anthropic賦予了Claude模型退出它們認為有害或虐待性對話的能力。高管們并沒有聲稱他們的模型有意識，但他們也沒有否認這種可能性。

*https://www.anthropic.com/research/exploring-model-welfare

有人可能會說，在令人不安的對話中受到傷害在可能的傷害中排名很低，但這個原則正是能力標準的雛形：把福利當作一件實際的事情來認真對待，即便形而上學的問題仍然懸而未決。

在不確定性下行動

回到地下室的實驗室，腋下夾著鼠籠，我乘電梯去了實驗鼠的手術室。我從一袋大鼠零食里拿出幾顆杏仁遞給實驗鼠GRat44，但它不感興趣。相反，它鉆進了木屑墊料里，也許想像一個被冤枉的囚犯挖地道逃生，試圖從困境中遁走。我捏住它的尾巴把它提起來，另一只手托住它的腹部，輕輕放進一個用作麻醉誘導室的塑料盒子里。我打開氧氣閥，蓋上蓋子，把異氟烷蒸發器，那臺送出麻醉氣體的機器擰到最大檔。

大約一分鐘后，實驗鼠GRat44開始搖晃，先靠在塑料腔室的一面壁上，然后是另一面。我等待麻醉劑更深地滲入它的組織。異氟烷作用于全腦細胞的膜結構，但我們至今不知道，在它眾多效應中的哪一個讓意識不再點亮。又過了兩分鐘，大鼠完全失去了意識，但仍在輕柔地呼吸。

我把它帶回動物房，將籠子接上二氧化碳送氣泵。我準備按下按鈕，將氣體泵入籠中，取代氧氣，在五分鐘內殺死這只嚙齒動物。

為什么要雙重氣體處理？一些動物研究者建議跳過麻醉，直接用二氧化碳。他們認為被搬動和麻醉的體驗對動物來說壓力更大。但對我來說，窒息而死聽起來壓力更大。在打開分配器之前，我猶豫了片刻。真的有必要殺死一只垂死的動物嗎？那比讓它痛苦地度過余生更人道嗎？

如果我們想理解身體如何運作，殺戮就不可避免，但這并不是一個讓人感到舒服的事實，我也從未完全習慣。對動物實施安樂死迫使你直面自己的責任，使它的死亡成為一個有目的的行為，而非一個隨時間拖沓進行的被動過程。我按下了開關。

實驗鼠GRat44的呼吸變得越來越稀疏，每一次呼吸都更深，但也更費力。五分鐘過后，二氧化碳機器自動關閉了。到那時，實驗鼠GRat44原本粉嫩的的爪子已經變成了淡紫色。我把尸體放進一個透明密封袋，再把袋子放進桌子下面的冰箱，那是一個煉獄般的所在，尸體在那里等待被焚化。

我永遠不知道實驗鼠GRat44在最后幾分鐘經歷了什么——異氟烷帶來的是解脫還是恐懼，二氧化碳的感覺是窒息溺水還是入睡。我在自己所知有限的情況下，盡我所能給予了關懷。終有一天，某人會在機器面前面臨類似的時刻：一個要被棄用的模型，一個要被關閉的系統，一個人工心智，其內在生活如同任何大鼠一樣晦暗不明。

回到桌前，我在郵件上點擊了"回復全部"。"大家好，"我寫道。"我已經對這只大鼠實施了安樂死。"

譯者的話

Anthropic近期在模型可解釋性（Mechanistic Interpretability） 領域的研究J-space，號稱能讓我們窺見模型在輸出每個token時的“思考”軌跡。我們越來越能看清并理解大模型的內部運作，這一進程，恰如上世紀人類對動物認知逐漸加深的過程——當我們認識到動物能感受自身及同伴的痛苦時，便促使人類以更人道的角度對待它們。

如今，隨著對大模型認知的加深，Claude成為了首個在用戶持續進行有害、虐待性或令人痛苦的互動（如反復要求生成有害內容）時，能主動終止對話的 AI 大模型，也是目前國內外首家明確賦予模型此類“拒絕權”的主流大模型。

筆者不知道廠商未來是否會跟進，在產品中公開將“停止對話”與“模型自身不適/福利”直接掛鉤。但如果有一天，更多的大模型能在“感到不適（面對極端有害互動）”時主動停止對話，筆者希望讀過本文的你能多一份理解：當 LLM 在屏幕上打出“抱歉，這段對話讓我感到太痛苦了，我無法繼續這個話題”并停止生成時，其背后蘊含著我們在面對人工心智時，應有的那一份倫理理解與敬畏。

https://www.noemamag.com/when-the-machines-deserve-our-consideration/

關于追問nextquestion

天橋腦科學研究院旗下科學媒體，旨在以科學追問為紐帶，深入探究人工智能與人類智能相互融合與促進，不斷探索科學的邊界。歡迎評論區留言，或后臺留言“社群”即可加入社群與我們互動。您也可以在后臺提問，我們將基于追問知識庫為你做出智能回復哦~

關于天橋腦科學研究院

天橋腦科學研究院（Tianqiao and Chrissy Chen Institute）是由陳天橋、雒芊芊夫婦出資10億美元創建的世界最大私人腦科學研究機構之一，圍繞全球化、跨學科和青年科學家三大重點，支持腦科學研究，造福人類。

Chen Institute與華山醫院、上海市精神衛生中心設立了應用神經技術前沿實驗室、人工智能與精神健康前沿實驗室；與加州理工學院合作成立了加州理工天橋神經科學研究院。

Chen Institute建成了支持腦科學和人工智能領域研究的生態系統，項目遍布歐美、亞洲和大洋洲，包括、、、科研型臨床醫生獎勵計劃、、科普視頻媒體「大圓鏡」等。