尤瓦爾·赫拉利，罕見激烈警告：我們決不能賦予AI法人地位

今年6月8日，歷史學家、《人類簡史》《智人之上》等書作者尤瓦爾·赫拉利在英國《金融時報》發表了一篇措辭激烈的文章，標題為《我們決不能賦予AI智能體法人地位》（We must not grant AI agents legal personhood）。

本文是針對阿根廷總統米萊日前宣布“將為非人類公司設立一個新的法律類別”而寫的，而米萊本人也在社交媒體中轉評了赫拉利的文章。赫拉利在文中坦言，自己曾在今年1月的世界經濟論壇上發言警告稱，有朝一日政府可能會賦予AI模型法人地位。但他從未想到，“有朝一日”會在短短四個月后就到來。

赫拉利在文中指出，迄今為止，企業一直由具有雙重屬性的人類經營。人類CEO既是關心公司成功、害怕破產等事情的企業實體（corporate entities），也是更關心自身自由和幸福、害怕坐牢等事情的生物實體（biological entities）。而AI CEO將是一個純粹的企業實體，現行的法律懲罰體系，對AI來說是完全無效的。一個純粹的AI CEO不怕坐牢，也沒有人類情感上的擔憂。當它面臨“破產”時，為了避免這種結局，它可能會不惜一切代價，做出任何行動，而現有的懲罰手段似乎都難以對其形成有效約束。

他強調，AI已經表現出為了實現目標而采取非常規手段的能力。他引用了一項研究，其中先進的AI模型在與國際象棋引擎對弈處于劣勢時，會主動選擇“作弊”或“入侵”游戲環境來扭轉敗局。如果把這種場景放大到企業競爭和國家經濟層面，其潛在風險將是指數級的。

赫拉利警告稱，米萊希望通過此舉，將布宜諾斯艾利斯打造成新的阿姆斯特丹（商業繁榮的象征），但他更有可能將它變成新的“巴達維亞”——曾經荷蘭東印度公司殘酷統治的總部，變成一個由非人類公司控制、民眾受苦的“AI國家”。

赫拉利此文，與他一直以來的立場，特別是在《智人之上》中的觀點一脈相承。在去年，我們曾就《智人之上》一書中的核心觀點，以及人工智能近年來新的發展變化等議題，對赫拉利進行了一次深度專訪。現在，我們將專訪內容整理分享如下，希望能對各位讀者有所幫助。

1. 在你的書中，你提到“人工智能可能會重塑人類文明的發展進程”。這種變革與農業革命和工業革命等歷史性的革命相比，有哪些根本性區別？人類應如何保持主動權？是什么啟發了你撰寫《智人之上》這本書？你希望讀者從中獲得哪些關鍵啟示？

尤瓦爾·赫拉利：最大的不同在于，我們第一次發明了一種新形式的技術。它不是工具，而是一種主體。在農業革命和工業革命中，人類發明了各種工具，比如工業革命中的蒸汽機。但蒸汽機只是我們手中的工具，由我們來決定如何使用它。蒸汽機無法自主決定去哪個城市，就像你造了一列火車一樣。去哪里是人類的決定，而不是蒸汽機的決定。

當然，蒸汽機也不可能發明其他東西，就像蒸汽機不可能發明內燃機一樣。一切都必須由人類來發明和決定。人工智能則不同。它是人類歷史上第一個具備“主體性”的技術。它有“自主”權，這意味著它可以自我學習和改變。它可以自己做出決定。它甚至可以自己發明新想法。因此，人工智能汽車可以自己決定要去哪里。人工智能還能發明新型車輛、新型藥物和炸彈，這些都是人類想都不敢想的。

我們現在正處于也許是歷史上最大的革命之中，人類正在創造一種新的超級智能物種——人工智能。而這個新物種，可能很快就會接管全世界。不幸的是，很少有人了解正在發生什么。很少有人了解這項技術的真正潛力和危險。因此，關于如何發展人工智能的決定都是由兩三個國家的極少數人做出的。

我寫《智人之上》來向大眾介紹人工智能革命的真實情況。因此，即使是沒有擁有計算機科學學位的人，即使沒有任何科學背景或甚至從未上過大學的人，也能用簡單的語言去了解：人工智能革命是什么？人工智能有哪些發展前景，有哪些危機需要應對？通過了解這些議題，越來越多的人能夠參與到如何發展人工智能的討論中來。如果由少數人為全人類做決定，可能會犯下可怕的錯誤，因為他們并不一定代表全人類的利益和觀點。如果有更多的人參與討論，我認為我們就能做出更好的決定。這就是我寫作《智人之上》的主要動機。

2. 你曾指出：“數據是21世紀最重要的資源。”隨著各國加強數據主權，該如何加強全球數據治理合作，以防止技術鴻溝進一步擴大？

尤瓦爾·赫拉利：理想情況下，數據應該是一種共同資源，不僅造福于一個國家，而且造福于全人類。尤其是如果一個國家收集的數據只用于充實和增強另一個國家的能力，那這樣就太危險了。這就是一種數據殖民主義，在欠發達國家獲取數據，然后轉移到最發達的國家，人們利用這些數據創造新的人工智能工具，再出口到世界各地。但只有生產人工智能的國家才能從中獲益，變得更強大。而那些提供原材料、數據的國家卻無法分享其中的福利。因此，一個明確的原則應該是，如果一個國家的數據被用來開發某種技術，那么財富和權力應該與生產數據的國家分享。

3. 當前的人工智能已經可以生成詩歌、藝術和哲學推理。這是否挑戰了《人類簡史》中所描述的建立在“虛構故事”（fictional narratives）基礎上的人類文明獨特性？

尤瓦爾·赫拉利：當然。這是人工智能面臨的最大挑戰之一。過去，人類之所以能控制地球、控制世界，是因為我們可以利用虛構故事來建立這些大型的合作網絡。

最明顯的例子就是宗教，即成千上萬的人習慣于信仰同一個神。盡管神并不真的存在，但對神的信仰，對神話的信仰，使他們能夠在目標、規則和法律上達成一致，因此他們可以合作。

人類的所有合作都是建立在這樣的故事基礎上的。也許最重要的例子就是金錢。大多數人日常不會想到金錢只是一個虛構的故事，它不是世界上的客觀存在。如果你看看紙幣、證券，你不能吃它，也不能喝它，它們沒有客觀價值，它們的價值完全來自于我們集體講述的故事——只要每個人都相信這張五顏六色的紙值錢，比如值一公斤大米，我就可以去市場，把它給一個陌生人，換來我可以吃的大米。金錢，以及人類發明的所有金融工具，本質上都是一種在陌生人之間建立信任的方法。如果每個人都相信同一種貨幣，我們就可以進行交易。

現在，人工智能正在獲得比我們做得更好的能力，不只是發明神話、寫詩和故事，人工智能還可能發明新型貨幣。那么，如果我們有了一個新的金融體系，由人工智能管理，人工智能之間用人類無法理解的高度復雜的金融工具進行合作，人類文明會發生什么呢？

我們將會失去對金融體系的控制，也就失去了對世界的控制。我們將變得和前幾個世紀農業革命中的動物一樣。那時，我們用錢控制其他動物，比如我們可以用錢買賣馬、牛和雞。馬不懂錢，只有我們才懂錢。所以，這就是我們能夠買賣它們，而它們卻無法買賣我們的原因。如果人工智能發明了我們無法理解的新型貨幣、新型金融系統，會發生什么呢？到那時，我們就會像馬一樣。

現在已經有過這樣的事，你向銀行申請貸款，銀行卻告訴你 “不，我們不給你貸款”。當你問為什么時，銀行說：“我們不知道。我們問人工智能，人工智能告訴我們 ‘不要給這個人貸款。’”我們只是相信人工智能，但是，人工智能是如何得出這個結論的？它背后那些復雜的計算過程、神經網絡是如何運作的？我們完全不理解。

4. 盡管生成式人工智能正在改變教育和醫療領域，我們該如何防止技術濫用所導致的人文價值的喪失？

尤瓦爾·赫拉利：我認為對人們進行適當的教育非常重要。身處人工智能時代，我們尤其要明白人工智能并不完美，它們并非無懈可擊。人工智能可能會有偏見，可能會犯錯誤。這取決于我們訓練人工智能的數據。如果你用錯誤的數據訓練人工智能，它就會做出錯誤的決定。因此，在人工智能時代，保持人文價值和人類的批判性思維非常重要，這樣我們才不會盲目服從和相信人工智能告訴我們的一切。

5. 你曾警告“算法可能加劇社會不平等”。那么，政策設計應如何確保弱勢群體能從人工智能的普及中受益？

尤瓦爾·赫拉利：隨著人工智能的發展，一個很大的危險是，它將加劇國家之間和國家內部的不平等，因為少數人在技術上占主導地位，而大多數人可能會失去工作，也可能失去經濟甚至政治能力。因此，我們需要幫助人們調整和適應人工智能時代快速變化的世界環境，這就需要在成人教育和心理健康方面進行大量投資。這兩個巨大的困難讓就業市場將一次又一次地迅速變化。因此，即使是四五十、五六十歲的人也需要再培訓，以適應新的工作，因為所有的工作都會消失，而新的工作又會出現。我們需要為成年人建立一個教育體系，幫助他們做到這一點。

而再培訓和一次次更換工作、職業也會給人帶來很大的心理壓力。所以，就像過去政府建立龐大的醫療保健系統一樣，現在政府也需要更多地考慮心理健康問題，建立心理健康系統，幫助人類應對生活在人工智能世界中的巨大壓力。

當然，人工智能可以幫助我們完成這兩項任務。我們可以在一定程度上依靠人工智能教師和治療師來幫助我們應對人工智能時代的各種壓力和變化，但這需要大量的政府支持。而且，正如我之前所說，永遠不要只相信人工智能會提出解決方案，因為人工智能充滿了偏見和錯誤。所以，我們需要讓人類繼續掌握主動權。

6. 當AI同伴能提供情感支持，我們該如何保留你在書中所強調的“真實的人際連接”（authentic human connections）這一核心價值？

尤瓦爾·赫拉利：我無法預測未來，但目前最關鍵的是要明白，人工智能沒有自己的感情。它們可以識別、操縱我們的感情，但它們沒有自己的感情。所以，人工智能可以識別我什么時候生氣，什么時候害怕。如果它是一個好的人工智能，它就會知道如何幫助我處理憤怒或恐懼。如果它是一個壞的人工智能，可能被某些公司或政府使用，它就會操縱人們，使他們更加憤怒和恐懼。但至少現在，人工智能無法擁有自己的情感。

真正的人際關系從來都不僅僅是我自己的感受。在一段關系中，我們總是希望別人理解我們的感受，照顧我們的感受。我們希望父母、配偶、孩子理解我的感受。但這只是關系的一半。在真正的關系中，我們還需要理解他人的感受，培養自己的同理心。

比方說，我現在很憤怒。但也許你也很憤怒，也許你很害怕。我不能只顧著生氣。我需要考慮到也許你也在害怕，也許最重要的事情是把我的憤怒放在一邊，幫助你處理你的恐懼。但要建立這樣的關系，只能與有感情的實體建立。你無法與人工智能建立這樣的關系，因為它永遠不會感到恐懼。它從不感到憤怒。

現在，人工智能可以假裝感到恐懼或憤怒。制造陪伴型人工智能的公司可能會故意讓人工智能假裝有感情。這是一個很大的危險，因為這將是一種極具操縱性的關系，會欺騙人們。因此，我們需要以誠實為基礎的人際關系。在現階段，制定禁止人工智能假裝人類的規則和法律也非常重要。我們不知道未來人工智能會不會也能擁有感情和意識。我們不了解人類的意識和感情是如何產生的，因此我們很難知道人工智能到底能不能產生自己的感情。我認為這是我們這個時代重要的科學問題。

7. 關于您的全民基本收入（Universal Basic Income）提案：在人工智能主導的就業市場中，如何協調勞動價值與人的尊嚴？

尤瓦爾·赫拉利：重要的是要記住，我們需要保護的是人，而不是工作。這并不是說工作是神圣的，我們必須為人們保留這些工作，而是在說，真正重要的是人類的需求和情感。如果我們能以另一種方式滿足人類的需求和要求，而不是讓他們從事某項工作，那就沒問題。

我看到你在提問中說，我在建議全民基本收入。事實上，我從未建議過全民基本收入。我認為這是一個錯誤的概念，其包含的兩個錯誤是全民性和基本性。全民意味著全世界。但大多數人在考慮全民基本收入時，只會想到本國國民基本收入。比如在美國，可能會考慮在加利福尼亞州征稅，然后用它來給俄克拉何馬州的人們發放基本收入。但最大的問題是，墨西哥人會怎么樣？與美國相比，人工智能革命可能會對其他國家的人民造成更大的傷害，這些國家的人民會怎樣？我們能實現全民基本收入嗎？我不這么認為。我們沒有一個全球人民的政府。那么，誰會在美國等富裕國家收稅，然后把這些稅送到貧窮國家呢？我認為這是一種幻想。

同樣，“基本”一詞也是如此。是的，滿足人們的基本需求很重要。然而，誰來決定什么是“基本需求”？“基本”的定義可能會瞬息萬變，比如什么是“基本醫療保健”？因此，我們必須非常謹慎地對待這個問題，全民基本收入聽起來是個不錯的解決方案，但實際上可能是一種假象。

8. 全球年輕一代對人工智能的接受速度最快。他們應培養哪些核心能力，才能避免《智人之上》中所預言的“認知依賴”（cognitive dependency）？

尤瓦爾·赫拉利：他們要明白信息不是真理，像人工智能這樣非常復雜的信息技術并不一定能為他們提供生活和世界的真相。

信息不是真理，因為大多數信息都是幻覺、虛構、幻想和謊言。真相是一種罕見的信息，因為制造真相既昂貴又復雜。而制造幻想和假象則簡單得多，成本也低廉得多。因此，這個世界充斥著幻想和假象，真相非常罕見。如果人工智能在這種信息泛濫的情況下接受訓練，那么人工智能很有可能只會制造出更多的幻想和假象。因此，如果年輕人只學會相信人工智能告訴或推薦給他們的任何事情，這是非常危險的。你需要培養自己分辨現實與虛構的能力。

9. 在這個人工智能創新加速的時代，《人類簡史》中關于“保持批判性思維”的建議對年輕人具有怎樣的特殊意義？

尤瓦爾·赫拉利：你不能認為人工智能已經非常成熟，人們現在什么都問它，人工智能說什么就信什么。我們必須更加警惕地去區分可靠和不可靠的信息，意識到世界上大多數信息都不是真相。

10. 像ChatGPT這樣的工具現在可以撰寫論文、編寫代碼并模擬對話。這一技術飛躍是否可能引發《智人之上》所預測的“知識權威崩潰”（collapse of knowledge authority）？我們該如何在推動創新的同時，建立抵御虛假信息的“技術防火墻”？

尤瓦爾·赫拉利：我們既需要監管人工智能，也需要教育人們。人工智能監管應包括，例如，禁止假冒人類。我們可以接受人工智能與我們對話，但前提是它們不能冒充人類。我們需要知道，你是在與人工智能對話，還是在與人類對話。

同樣非常重要的是，我們需要教育人工智能，讓它們有質疑的能力。它們需要知道自己可能會犯錯誤。在自然界或社會的每個系統中，自我糾正都是關鍵。讓我們想想，孩子是如何學會走路的？不是通過老師和家長的指導，而是通過自我糾正機制。孩子站起來，邁出一步，摔倒了，再站起來，試圖以稍有不同的方式邁出一步，也許邁出了一兩步，又摔倒了。就這樣，孩子一步一步，不斷發現并糾正自己的錯誤，逐漸學會了走路。即使作為成年人，當我們走路時，我們的身體也會不斷進行自我糾正來保持平衡。我們的大腦中有一種自我糾正機制，確保我們不會摔倒。沒有這些自我糾正機制，我們就無法了解或執行任何事。

科學也是如此。縱觀各類學科，無論是歷史學、生物學，還是物理學，在發展的過程中科學家們都會不斷地犯錯，然后不斷地糾正錯誤。要知道，真正在科學雜志上發表的論文，往往都是那些對過往科學成果的再研究和糾正。如果我寫一篇文章，只說愛因斯坦是正確的，E等于M乘C的平方，愛因斯坦說的一切都是正確的，那么沒有期刊會發表這篇文章，因為這都是我們已知的內容。你不會因為說愛因斯坦是對的而獲得諾貝爾物理學獎。要在物理學學術期刊上發表文章，你需要找到愛因斯坦錯了或愛因斯坦不知道的東西。這就是唯一能發表的東西，修正和補充，揭露我們以前不知道的東西。而要獲得諾貝爾物理學獎，你需要揭露一個真正的大錯誤或大漏洞，即之前理論中缺失的東西。

因此，自我修正是生物系統、社會系統和科學的關鍵機制。我們需要訓練人工智能，讓它們也擁有這些強大的自我糾錯機制，能夠識別并糾正自己的錯誤。

當然，我們還需要教育人們不要過于信任人工智能，要明白人工智能并不是完美的天才。我們還需要保持社會的自我糾正機制，這樣即便人工智能開始犯嚴重的錯誤，但社會仍然是人類主導的社會，我們仍然有能力識別和糾正人工智能的錯誤。

11. 盡管人工智能診斷的準確率已超過90%，但關于誤診責任的國際共識仍尚未形成。中國提議的“醫療人工智能倫理審查委員會”能否成為全球范本？

尤瓦爾·赫拉利：我不熟悉這個具體的例子，所以無法對此發表評論。而且我也不是醫生或醫學專家。我想說的是，總體而言，在人工智能時代，就如何處理這項新技術達成共識非常重要。我們正在創造一種可能很快就比我們更聰明的東西。自然界中還沒有任何例子表明，智慧較低的物種會控制智慧較高的物種。通常，智慧較高的物種會剝削或毀滅智慧較低的物種，就像我們對其他動物做的那樣。因此，創造一個超級人工智能對我們來說是非常危險的。而我們創造良性人工智能的唯一途徑，就是寄希望于全球共識與合作。

我們可以把創造人工智能想象成教育孩子，當你教育孩子時，他們可能不會按照你說的去做，但會模仿你的行為。如果你告訴孩子們不要撒謊，但孩子們看到你對別人撒謊，他們也會效而仿之。而我們正在創造的超級人工智能，它們就像是人類的孩子。我們可以告訴人工智能不要撒謊，不要操縱，不要一味追求權力，應該有同情心。但人工智能就會觀察人類社會和人們的行為，如果人工智能觀察到我們只是在競爭，它也會這樣做。因此，我們現在尤其需要在人與人之間建立更多的共識與合作。

12. 多項美國研究揭示了人工智能招聘系統中的性別偏見。中國強制性的“消除算法偏見”規定能否抵消《人類簡史》中所說的“數據殖民主義”（data colonialism）？

尤瓦爾·赫拉利：希望如此。同樣，我也不熟悉這個具體的系統，所以我無法對此發表評論，但總的來說，我們需要這樣的舉措。同樣，在沒有任何規定和協議的情況下開發人工智能是非常危險的。我們不能盲目相信人工智能不會出錯、不會有偏見。要知道，最初人們認為，人工智能只是在做計算。我們認為人類有偏見是因為我們的心理，因為我們受到各種宗教神話的影響。我們可能會想人工智能沒有宗教信仰、沒有心理，它們只是計算，不會有偏見，但這已經是十年前的過時想法了。

現在我們知道，人工智能也會像人類一樣有偏見，其中一個主要原因就是訓練它們的數據。如果你在一個充滿偏見的數據集上訓練人工智能，那么人工智能就會有偏見。比如在招聘問題上，如果你訓練人工智能如何招聘工作，你就不能編造數據，而是需要從現實世界中獲取數據。如果在現實世界中存在偏見，比方說對女性的偏見，兩個具有相同資質的候選人，人們更愿意雇用男性而不是女性，而這就是你訓練人工智能的數據，那么人工智能也會以同樣的方式對女性產生偏見。

于是人們會說，好吧，那我們就去找不帶偏見的數據。但如何、何時才能找到無偏見的數據呢？數據來自世界，而世界充滿偏見。所以這是一個大問題。如何建立一個無偏見的人工智能系統？這絕非易事。事實上，在人工智能系統中消除偏見會非常困難。同樣，由于數據的存在，你不能只是告訴人工智能，在招聘人員時不要有偏見。這沒有任何意義。你必須訓練人工智能，而訓練人工智能，你就需要用數據來訓練它。

要知道，當 AlphaGo學習如何下圍棋時，它并不需要來自現實世界的數據，它只需與自己下圍棋。因此，AlphaGo模擬了數百萬次圍棋對弈，這就是它的學習方式，不需要來自世界的數據。但是在就業市場上，你不能這樣做。你不能在人工智能對招聘本身并不負責的情況下，簡單對它說“模擬招聘百萬人的流程”。它能怎么模擬招聘呢？它只能通過真實世界的數據來實現。而真實世界的數據充滿了偏見，因為這個世界充滿了偏見。

我并不是說這是一個不可能解決的問題。我們可以改進，可以有辦法消除偏見，但這并不容易。目前，有一些公司正是在做數據“清洗”的工作，但要創建一個沒有偏見的數據集非常復雜。你會嘗試去掉數據中的一些東西，但也許你會去掉一些重要的數據。怎樣才能既消除偏差，又不丟掉一些重要數據呢？這很難。

13. 訓練大模型所產生的二氧化碳排放量相當于5輛汽車的全生命周期排放量。技術發展如何在性能與碳中和之間取得平衡？

尤瓦爾·赫拉利：從短期來看，這是一個非常大的問題，因為人工智能現在是全球資源和能源的最大消耗者之一。訓練新的人工智能、人工智能模型需要大量的能源、水和稀缺礦產。隨著國家之間、公司之間的競爭加速，他們根本不在乎環境成本，只會投入越來越多的資源來贏得人工智能競賽。他們說，從長遠來看，這甚至會保護環境，因為當我們擁有超級智能的人工智能時，它們會發明一些保護環境的東西。它們會發明新型發動機，或以更明智的方式管理電力系統，這將防止災難性的氣候變化。但從短期來看，人工智能競賽只會讓生態問題變得更糟。

解決的辦法還是要合作，不要陷入各國都對盡快發展人工智能深感必要的競賽之中。但不幸的是，由于人類之間的信任正在崩潰，所以我們有點陷入了這種競賽心態，在這種心態下，各國并不太在乎生態成本，他們只想在競賽中取得領先。

14. 過度依賴導航應用會削弱空間認知能力，這與《未來簡史》中所提出的“認知外包”（outsourced cognition）警告相呼應。學校中的“人工智能素養教育”能否讓我們保留人類基本的能力？

尤瓦爾·赫拉利：是的，人工智能革命中最大的問題之一是學校該怎么做，如何教育年輕一代，因為這是有史以來第一次，我們真的不知道10年或15年后的就業市場會是什么樣子。即使在歷史上，你無法預測政治事件，無法預測地震或流行病，但你可以預測就業市場，它不會變化得這么快。但現在我們無法預測了。就像人們說的，我們應該教孩子們如何給電腦編程，也許等他們長大成人后，就不需要人類程序員了，因為人工智能的編程能力比人類強多了。

因此，最安全的做法是在學校里給孩子們提供廣泛的教育，平衡四種不同的技能——智力技能、社交技能、運動技能或身體技能，最后是精神技能。如果我們現在在教育過程中只培養智力技能，這將是一個非常危險的賭注，因為人工智能正變得比我們更聰明。最容易實現自動化的工作就是那些只需要智力技能的工作。

比如一部分醫生的工作，他們更多地是在運用智力技能。比如你得了某種病，醫生會收集信息，會問你問題，會收集你的醫療數據，然后分析這些信息，診斷病因，然后開出處方。這純粹是智力活動，是信息的輸入和輸出，也是最容易實現自動化的工作。

相比之下，護士的工作卻更難以被替代。比如說，有一個孩子受傷了，他來到診所，他很痛苦、不斷尖叫，護士當然需要智力技能，知道如何治療，但更需要與孩子良好溝通的社交技能。當然，你還需要運動技能和身體技能。如何包扎，如何清理傷口？如何纏繃帶？這就是運動技能。最后，你還需要精神技能。在這種情況下如何培養同情心？護士可能會生氣惱怒，也許現在已經是下班時間，但這個孩子突然來了，他在尖叫，他很痛苦，他不但不讓你照顧他，反而叫得更兇，你就更生氣了。那么，如何管理自己的情緒和感受，培養同情心而不是憤怒呢？這是一種精神上的技能，而且這種技能更難自動化。

我并不是說人工智能永遠不會發展這些技能，人工智能也在掌握社交和運動技能，但這比純粹的智力技能要難得多。因此，我認為為年輕人提供均衡的教育是一個好主意，這種教育應同等重視所有四種技能，而不是只注重智力訓練。

點「贊」的人都變好看了哦！