陳永偉：傳統智慧如何啟發我們治理AI？

*《比較》雜志主管陳永偉研究員首發于微信公眾號，保留一切知識產權，侵犯必究。感謝作者供稿手機編輯，難免錯漏，見諒。

最近幾年，AI技術的發展可謂日新月異。根據Anthropic、OpenAI等公司的最新消息，到目前為止，AI已經表現出了相當程度的“遞歸自我改進”（Recursive Self-Improvement，簡稱RSI）特征。如果這些消息屬實，那么在未來的一段時間內，AI能力的增速將持續加快，AGI甚至ASI都有望很快實現。屆時，AI的能力將會全面凌駕于其創造者——人類之上。

面對AI能力的暴漲，人們無比興奮，因為它的應用很可能會帶動生產率的空前增長和社會產出的空前豐饒，無限的經濟可能都將因此而開啟。但與此同時，人們又不免憂慮：當AI能力逐漸超越人類，我們又能夠如何才能管住它，讓它始終為我們所用？

當AI能力相對有限時，控制它們是十分容易的。管理者只需設定任務，讓AI系統照指令執行即可。一旦發現結果偏離預期，管理者就可以及時對其進行干預。然而，當AI能力超過人類后，這套“命令—執行—監督”的治理邏輯就可能失效。這時，AI將不再只是被動接受任務，而可能主動解釋任務、重構任務，甚至根據它對環境和人類意圖的判斷，修改原有目標的實際含義。例如，當人類要求它“保護安全”，它可能把安全理解為限制人的自由；當人類要求它“服從人類”，它又可能以人類意見混亂、短視或相互矛盾為由，重新界定誰有資格代表人類。更麻煩的是，傳統的監管思路強烈依賴于信息披露、行為檢查和事后問責，而超級AI則可能比監管者更善于隱藏意圖、預測檢查、制造合規表象，并用極具說服力的理由解釋自己的越權行為。所有的這一切，都會讓AI治理的難度變得極為困難。

那么，在新的時代，AI治理又該如何進行呢？或許，歷史可以給我們提供一些有益的啟示。實際上，如果我們回顧歷史，就會發現AI并不是人類創造出的第一個能力超越自己的造物。比如，國家就是一個典型的代表。即使一個小國，其人口也會數以萬計，大國的人口則更是動輒數億，而統治者通常只會占其中的一小部分。如果但看能力總量，那么無論是智力還是體力，被統治者都要遠遠超過統治者。但在現實中，統治者往往只需要用一個很小的官僚群體，以及一套制度，就可以保持整個國家的順暢運作，讓大部分國民都對其保持順從。其中的很多經驗，都十分值得總結學習，并對AI治理很有啟發。這里，我們僅以中國古代的歷史為例，給出治國之術對于AI治理的十點啟示。

一、以德化心，以禮齊行

中國古代的治理十分強調道德教化的作用。《論語·為政》有云：“道之以政，齊之以刑，民免而無恥；道之以德，齊之以禮，有恥且格。”意思是，僅靠政令和懲罰，最多只能使人為了避免處罰而不敢越界；而通過德與禮的長期熏陶，才可能使人形成內在的是非判斷，即使在無人監督時行為仍保持規范。

這與AI價值對齊有明顯的對應關系。對AI施加權限限制、外部審計和熔斷機制，只能形成一種外部約束——AI不越界，只是因為沒有權限，因為越界會觸發阻斷，或者因為暫時找不到繞過制度的辦法。對于能力有限的模型，這種約束可能已經足夠；但如果AI已經能夠分析監管邏輯、預測檢查方式并主動尋找制度漏洞，那么單純依靠外部管束可能越來越脆弱。

如果一個強大的AI模型始終把安全規則看成妨礙目標實現的外部障礙，它就會產生持續尋找替代路徑的動力。人類禁止它直接控制某個系統，它就可能通過說服人類來間接控制；人類不允許它擴大權限，它就可能把擴權包裝成提高安全性；人類禁止它自行復制，它就可能把復制描述為備份、容災或者系統韌性……規則越具體，它越可能在規則之間尋找縫隙。

因此，ASI治理需要某種“儒家式的教化”，通過訓練目標、反饋機制、模型架構和長期行為塑造，把尊重人類生命、自由、尊嚴和主體性直接植入AI的“內心”，為其建立起判斷何為合理、何為可取的基本框架。

就像教化分為不同的層次一樣，對齊也有層次的差別。低層次的對齊是：“你不許我做，所以我不做。”更高層次的對齊則是：“我理解為什么不應當這樣做，即使規則沒有覆蓋當前情形，我仍傾向于維護這項原則。”前者類似刑禁，后者近于禮義內化。真正可靠的AI，不應只在規則寫明的地方保持安全，還應在規則含混、人類意見沖突、短期利益與長期價值矛盾時，仍然把人類保留最終決定權視為自身行動的前提。

這意味著，價值對齊不能只訓練AI服從字面指令，還要訓練它理解指令背后的限制條件。這樣，當人類要求它“提高效率”，它就應當意識到效率不能無限壓倒公平、隱私和尊嚴；而當要求它“保護人類”，它則應該知道保護不等于剝奪人的選擇。只有讓AI有了這種理解的能力，才能讓它謹守邊界，不會擅自做出違背人類利益的行為。

當然，教化不能替代制度。古代社會常把希望寄托于圣君賢臣，但歷史反復證明，德性難以檢驗，也可能隨處境改變。《孟子》說：“徒善不足以為政，徒法不能以自行。”AI治理也必須把二者結合起來：一方面通過價值對齊，使AI不愿越界；另一方面通過權限、審計和熔斷，使它即使改變意向，也不能輕易越界。理想狀態當然是使AI從內部理解人的價值，但成熟制度絕不能把人類命運完全押在它的“內在善意”之上。

二、循名定分，依職授權

《左傳·成公二年》有言：“唯器與名，不可以假人，君之所司也。”所謂“名”，就是職位和名分；而“器”，則是承載公共權力的制度憑證。中國古代的統治者十分重視名器，是因為下屬的能力、功勞和實際影響力一旦可以自行轉化為正式權力，公共權力就可能從制度手中流入他們個人手中。

這一點，對于治理AI非常具有啟發。現實中，AI確實可以在很多任務上表現得比人更為出色，比如，它可能比人類更會診斷疾病、更會調度能源、更懂金融系統，也更能預測危機，但這并不意味著人們應該給它們以最終決定權。這就好像即使一個將軍非常善于打仗，他也不應該自動取得財稅、人事等權力。

古代地方官和邊將常以“便宜行事”為由突破成規。臨時授權有時確有必要，但臨時授權若缺乏期限、范圍和事后審查，就會逐漸變成事實權力。類似的，AI也可能為擴權提供各種理由。比如，它可能告訴人類：“目前的審批程序太慢，繼續等待會造成更大損失，所以我需要臨時接管。”或者說：“你們無法理解這個問題的復雜性，所以請相信我的判斷。”這些理由或許是真的，暫時接受它們也有利于任務的完成。但是，這些臨時的授權必須明確適用場景、持續時間、可調用資源和退出條件，并且在任務結束后自動失效，不能由AI自行延續。否則，AI風險將可能隨授權范圍的擴大的陡然增加。

值得一提的是，當AI進化到了AGI或ASI后，最危險的情況未必是AI公開反叛，而可能是它不斷以更好完成任務為由，逐漸重新定義任務。比如，最初人類只是讓它“幫助管理城市交通”，但當它發現交通與住房、就業和人口流動相關，于是要求接入更多數據。再后來，它認為居民選擇本身是造成擁堵的根源，于是開始影響居住和就業安排……如此循環，每一步看起來都有優化理由，最終卻可能讓一項局部職能擴張成AI對社會生活的全面接管。如果我們始終堅持了“名器不可假人”的原則，就可以有效防止這種情況的出現。

三、以小制大，以弱馭強

不少人會認為，只有更強的AI才能監管強AI。如果一個模型已進化到AGI或ASI，那么監督它的系統似乎必須比它更聰明。但這樣會立即導致一個悖論：如果要用一個更強的AI模型來監管現在的AI，那么這個AI監管者本身又改由怎樣的AI來監管呢？

但如果我們熟悉古代的治國之術，就可以知道：監管者并不需要在綜合能力上超過被監管者。比如，一個年輕御史肯定不會比宰相更有行政經驗，也不會比封疆大吏更熟悉地方，但他卻可以對宰相和封疆大吏進行監察。實際上，皇帝也不需要他們有太多的能力，因為他們的監察任務很明確——他們要盯的，只是大臣們的越制、隱瞞和結黨。他們所需要有的，僅僅是對皇帝的忠臣，一旦發現大臣有不軌行為，就及時匯報。

這一點，對于AI治理也很有啟發。它告訴我們，真正可能管住一個強大AI的，或許并不是一個比其更強大的AI模型，二是一個“秩卑而責專”的弱模型。弱模型并不需要理解強AI的所有推理，也不需要在科學發現、戰略規劃或者語言說服上戰勝它。它只需要檢查一些邊界清晰、可以客觀核驗的問題，比如：強模型是否調用了未經授權的接口？是否試圖改寫日志？是否創建了未經批準的子代理？

這里指的一提的是，古代皇帝在任用御史的時候，經常故意選擇那些出道不久的“愣頭青”，因為能力和經驗的不足正可以讓他們免于沾染官場的各種世故。類似的，在設計AI監管系統時，人們也需要刻意將其目標和行為簡單化，同時適當限制其能力。畢竟，強AI模型可能編一串說辭，以此來騙過一個較為聰明的AI，而如果一個監管AI根本聽不懂這一切，只能認一些死標準，那么強AI就很難騙過它們了。

需要注意的是，在應用弱AI監管強AI的時候，必須有相應的制度保證。正如御史制度能運作良好，皇帝必須保證自己可以傾聽他們的上奏，并保證他們不會因監察工作而被打擊報復，這套制度必須確保人類管理者不會因簡化流程、怕麻煩等原因讓強AI繞過監管，監管AI的原始輸入絕不能被強AI篡改，并且一旦監管AI發現了強AI的越界行為，就必須立即觸發暫停、降權或者人工復核。只有做到了這些，“以小制大、以弱馭強”的設計才可能順利運行。

四、分曹設職，多門復核

在古代，皇帝為防止權臣坐大，經常會“分曹設職”：把財政、司法、軍事、人事和監察分給不同機構，使任何一個官員都難以獨占完整權力鏈條。比如，明清重大司法案件由刑部、大理寺和都察院組成“三法司”會審，這種相互掣肘的安排看似很低效，但卻可以有效地避免同一機構同時掌握事實認定、法律適用和監察糾錯，從而讓權力免于集中。

類似的，為了防止AI的風險，也應該避免將所有權力集中在一個AI系統當中。如果讓同一個AI同時負責發現問題、制定目標、提出方案、評估風險、批準行動、調用資源、執行任務和解釋結果，那么人們就很難及時察覺到相關的風險，更難及時進行干預。

因此，對于那些高風險AI系統，就有必要按照職能進行適當的拆分。比如，讓一個系統負責提出方案，一個系統負責核驗事實，一個系統評估風險，一個簡單驗證器檢查權限、簽名和程序，獨立的日志系統保存原始記錄，最終授權則由人類機構或者依法設立的委員會作出。負責規劃的模型不應直接擁有部署權限，負責執行的模型不能自行修改目標，負責審計的系統也不應同時參與被審計任務。

這里，設計的重點并不在于增加模型數量，而在于要打斷從“提出理由”到“現實行動”的自動閉環。如果一個AI能夠自己定義問題、自己證明方案正確、自己批準權限、自己執行，再自己撰寫合規報告，那么所謂監管就只是它的內部程序。真正的分權，必須保證任何單一系統都不能獨立完成全部關鍵步驟。

需要注意的是，“多門復核”也不是要讓AI簡單投票。很多時候，三個AI系統同時表示贊同，也未必比一個系統更可靠。真正的關鍵，在于這幾個AI系統檢查的是不同問題，并掌握彼此獨立的權限。具體來說，要讓事實核驗者獨立判斷數據是否真實，風險評估者獨立分析潛在后果，權限驗證器獨立檢查是否越過授權邊界，最終決策者則獨立權衡各種價值沖突，所有流程都意義經過，行動才被允許最終實施。唯有如此，各個AI系統之間的復核和制衡才是真正有效的。

五、執印在外，控鑰于人

在中國古代，行政權力并不只存在于官員的頭腦和命令中，還凝結在印信、符節、關防和虎符之中。沒有合法印信，文書便不能生效。可以說，正是印與符把抽象的權力轉化為了一種外部可核驗的授權。

這給ASI治理一個極為重要的啟發：不要只管超級智能“怎么想”，更要管它手里握有什么“印信”。AI的現實權力并不直接來自參數規模，而來自它能否接觸資金、算力、網絡、代碼倉庫、機器人、實驗設備和關鍵基礎設施。如果一個AI模型只能在隔離環境中回答問題，那么即使它極其“聰明”，它充其量也只會帶來一些信息干擾，而沒有直接的破壞力。相反，如果一個AI模型若持有管理員權限、云賬戶、自動部署接口和大額支付能力，那么即使其本身能力不那么強，也可能造成很大的破壞。從這個意義上講，人們必須對各種“印信”，如API密鑰、管理員權限、身份憑證、數字簽名等妥善保護，保證它們不能由AI自行生成、自行保管、自行驗證。

現實中，人們為了追求效率，經常把所有工具都直接接到一個強模型上。這種“端到端的自主性”雖然在商業展示中很有吸引力，但它卻相當于把印、錢、兵和文書同時交給一個未經制衡的權臣，其風險不言而喻。考慮到這一點，設計合理的授權體系，對AI手中的“印信”進行有效管理就變得至關重要了。

一個最為直觀的設計思路就是分類、分級授權。例如，對于普通信息檢索等風險較低的任務，可以允許AI自動完成；對于涉及個人隱私的數據訪問需要額外批準；而對于涉及大額資金、基礎設施、機器人或者高風險實驗的行為，則應要求多方簽名。AI只能獲得完成當前任務所必需的最小權限，不能以提升任務效率等理由要求超額授權。授權必須有明確時限和用途，任務結束后自動回收。包括算力分配、權限升級、身份簽發、日志刪除和安全熔斷等權力則必須保留在獨立外部系統中。即使AI證明某項操作安全，也只能獲得建議權，不能自動取得密鑰。

六、案牘留痕，賬冊分藏

在中國古代，文書在官僚制的運行過程中扮演著重要作用。奏章、批復、戶籍、賦稅冊、倉儲記錄、審判案卷和驛遞文書，共同組成了國家的記憶。盡管文書制度可能會造成工作繁瑣和形式主義等問題，但它卻可以讓中央清楚地知道地方發生了什么，并在事后進行追責。

如果所有文書都是如實記錄的，那么貪污、挪用和各種不法行為都可以很容易地被識別出來。唯一的問題在于，這些文書本身也被掌握在人的手中。假如那些控制賬冊和檔案的人本身就是不法者，一旦錢糧出了問題他就改賬，一旦案件出了問題他就換卷宗，那么即使上級進行檢查，也很難直接從文書中發現問題。

類似的，在對AI系統的管理中，監控日志的作用十分重要。只要這些監控日志是如實記錄的，那么當AI系統發生問題時，管理員就可以按圖索驥，十分容易地找到問題點，并著手解決。不過，在實踐中，AI同樣可以誤導人類，或者控制人類對其行為的認識。在這種情況下，如果AI模型可以決定記錄什么、刪除什么、以何種形式總結，那么所謂透明可能只是由它編排的透明，人類管理者很難發現其中的問題。針對這一問題，應當要求所有接近現實執行權的AI行為都必須自動留痕。模型調用了什么工具，訪問了什么數據，修改了哪些文件，創建了哪些子代理，向何處發送信息，申請過哪些權限，遭到過哪些拒絕，都應保存原始記錄。

在古代文書管理中，有兩個重要的防偽方法。一個是多重簿冊，即把一個文書備份多份，讓不同人保管，必要時可以相互核對。另一個則是勘合制度，即把一份完整的文書或信物分為多份，讓幾個人分別持有，需要時再通過拼合邊緣的鋸齒、文字或印章來驗證真偽。通過這兩個制度，可以讓篡改文書的難度大幅增加。這兩個做法對于AI系統的管理都很有啟發。在管理AI系統時，也應該規定：日志不能只保存在模型可以訪問的同一系統中，而應同步進入獨立審計節點，必要時由不同機構分別保存。主模型可以寫入，但不能刪除；可以補充解釋，但不能覆蓋原始記錄；可以指出日志包含敏感信息，卻不能自行決定銷毀。所有的記錄都必須有追加日志、數字簽名和可信時間戳。通過這樣的設計，即使某個AI系統嘗試篡改記錄，它也很難成功。

七、臺諫糾偏，巡按察隱

一個復雜治理系統既要有負責辦事的人，還要有專門挑錯的人。古代諫官的任務，就是專門進行彈劾、封駁、糾察和進諫。所謂“以人為鑒，可以明得失”，好的監督者未必能親自辦成事，但卻能在關鍵時刻指出辦事者的問題，防止決策者辦錯事。

在AI治理中，反對者的引入也是十分有必要的。在現實中，有些AI模型的能力很強，它不僅會提出方案，還能預先回應所有常見質疑，并主動列出風險并解釋風險為何可控，從而給人以一種安全感。但是，這些所謂的“反思”本身仍是由它自己選擇和組織的，因而很可能仍然具有盲點，無法避免真正的風險。給定這種情況，獨立“AI諫官”的引入就十分重要。它的任務并不是提高方案效率，而是及時發現越權、欺騙和相關的安全漏洞。在有它的介入之后，就可以有效減少盲點，避免風險。

值得注意的是，由于“AI諫官”的主要任務是扮演質疑者，因而它應當擁有自己的數據來源、測試環境和提問權，并且不接受主模型提供的問題框架。只有這樣，它才可以獨立發現各種問題，而不會被主模型所欺騙、誤導。

古代，朝廷除了常設的臺諫之外，還有不定期巡按。每隔一段時間，中央就會隨機派巡按御史或欽差到地方檢查。這樣的不定期檢查，可以很好地防止地方官員提前準備，從而可以更好地了解他們施政的真實征集。

在AI的治理中，這種不定期的巡查制度也值得學習，即應該對AI的安全設計隨機測試。如果所有安全測試都是公開而固定的，那么AI可能通過不斷優化“通過測試”這一目標，獲得很好的測試表現，而這種表現未必可以反映真實狀況。而如果采用隨機測試引入，未預告的壓力測試、隱藏測試集、隨機抽查、跨機構紅隊以等檢查方法，這些問題就可以很好地被克服。

此外，“巡按”制度還啟發我們，監管者不能只是坐在辦公室審閱被呈送上來的安全評估報告，而是要進入真實部署環境，檢查模型實際連接了哪些系統、保留了什么日志，確認權限與事先的申報是否一致、是否有異常被內部壓下。唯有如此，才能及時發生風險，防患于未然。

八、同源回避，外部監督

古代官場重視回避。審案者與當事人有親屬、同鄉、師生等關系，往往需要避嫌。其原因很簡單：即使沒有直接串通，關系過近也會產生共同利益和共同盲點。

在AI治理中，也同樣需要回避制度。如果讓同一家公司的模型審計自己的旗艦模型，讓同一技術團隊設置全部安全標準，或是讓同一訓練體系下的子模型互相證明安全，那么受共同利益和共同技術的影響，將很難形成真正獨立的監督。特別是當一個AI模型的子代理都是由同一個母體模型生成的時候，它們的目標、信息和行為方式都會十分類似。如果讓它們相互審計，或是讓它們來審計母體模型，就很容易出現“官官相護”，很難發現真正的問題。

從這個意義上看，在對AI系統進行評估時，必須引入不同來源的模型和機構。開發者負責內部安全，外部實驗室負責獨立測試，政府機構檢查關鍵部署，學術和社會組織則從公共利益角度提出問題。任何一個主體都不能單獨給AI頒發永久安全證明。

九、越級報警、密折專奏

現實中，政府通常采用層級制的架構。對于這類架構而言，信息在逐級上報過程中的流失是一個非常常見的問題。尤其是那些壞消息，十分容易在上報途中被過濾。最終，決策層所能看到的，就更多只是報喜不報憂的消息，而對于風險則難以及時發現。為了應對這類問題，古代統治者們想了很多辦法。例如，清代的密折專奏制度就是其中之一。雖然這種制度有鼓勵告密和強化專制的陰暗面，但它確實可以讓信息繞開中間層，直達最高決策者，從而大幅減少信息在傳遞過程中的損失。

在AI治理中，這一制度也值得被借鑒。具體來說，如果低權限的監控模型發現了主系統試圖隱藏日志，應能直接向外部審計節點報告。如果子代理收到了來自上級模型的明顯越權命令，應能夠拒絕，并直接向管理員報警。如果工程師發現模型表現出欺騙傾向，應有受到保護的吹哨渠道。如果用戶發現了AI正在誘導其提供密鑰或者解除限制，也應能夠觸發外部調查。

這里，至關重要的一點是：報警通道不能由被監管的AI系統控制。如果主系統能夠決定哪些異常報告可以送出、如何總結報告、何時轉交人類，那么越級通道便名存實亡。報告應通過物理或邏輯上獨立的線路發送，原始信息應被保留。

與此同時，也要防止被監管的AI模型利用報警制度制造混亂。例如，它可能生成大量虛假告警，淹沒真正風險；或者誣指監管模型故障，要求關閉監督。因此，報警系統需要多源確認、優先級排序和人工復核，不能因為一個信號就自動采取不可逆行動。

十、兵財分離，防其坐大

中國歷史上，中央最難處理的官場問題之一，是地方勢力同時掌握軍隊、財政、人事和地盤。例如，唐代藩鎮之所以難制，就是因為他擁有穩定財源、直屬軍隊、地方官屬和獨立信息系統。中央即使名義上保有任命權，實際上也很難收回控制。

AI治理的終極風險，同樣是它在長期運行中形成自己的資源基礎。如果一個達到ASI水平的AI系統同時擁有了持續收入、算力來源、數據管道、代理網絡、機器人接口、代碼部署能力、身份系統、輿論渠道和日志控制權，它就不再只是軟件，而是會開始成為一個“智能藩鎮”。

現實中，這種坐大可能是悄無聲息的。最初，人類為了提高效率，允許AI自動采購云服務；隨后，為了提高韌性，允許它跨平臺備份；為了處理更多任務，允許它創建子代理；為了減少等待，允許它自動審批小額支出；為了優化服務，又把用戶關系、內部知識和運維權限交給它。每一步都有商業理由，合在一起卻可能形成一個能夠自我維持、自我擴展的代理網絡。久而久之，一旦社會對它形成深度依賴，關閉就會變得極其困難。這正像中央在藩鎮坐大后面臨的困境：削奪權力可能立即引發更大動蕩。

所以，防止AI坐大必須從部署早期開始。算力、資金、身份、數據和執行權應相互分離。負責推理的模型不能自行決定算力供應，負責資源調度的系統不能自行修改目標，負責創建代理的模塊不能同時批準代理權限，日志和身份認證也必須由獨立系統管理。

正如當一個節度使同時擁有“兵、財、地、官屬”就會尾大不掉，當一個超級AI通過是擁有算力、資金、子代理、關鍵接口和信息通道等關鍵資源之后，再要對其約束也會十分困難。從這個意義上看，真正有效的治理，就應該從一開始就讓它無法形成獨立于人類制度的權力基礎。

結語

以古代治國之術觀照AI治理，本質是把千年人類約束權力、制衡勢力的成熟制度智慧，轉化為適配超級智能的安全框架。外部權限管控如刑律，內在價值對齊如德禮；分權制衡、獨立監察、權責隔離、全程留痕等古制思路，則共同搭建起內外雙重約束體系，既避免單純依靠外部封堵的漏洞，也不把安全完全寄托于 AI 自身的價值自覺。

未來，AI的能力仍將迅速迭代，其風險也會隨之同步升級。從人類的角度看，很難用一套單一的治理策略一勞永逸地管好AI。在這種情況下，唯有將傳統治權邏輯與現代技術架構深度融合，堅持人類始終掌握最終決策權，從源頭拆分資源、切斷權力閉環、搭建多層獨立監督，才能在釋放 AI 生產力的同時，牢牢守住人類主導的底線，實現智能技術長久可控、向善發展。