專題·智能體安全 | 構建智能體安全治理新范式：從行為規約到生態共治

譚知行

文 | 中關村實驗室 譚知行 楊光

當前，人工智能正從以生成與對話為核心的“單點智能”，加速邁向能夠感知、規劃、決策與執行的“智能體”新階段。智能體能夠理解復雜指令，調用工具，自主或在一定干預下完成現實世界與數字世界中的任務，這一躍遷極大地釋放了人工智能的生產力與創造力。2025年8月，國務院印發《關于深入實施“人工智能+”行動的意見》，明確提出推動智能體等應用加快普及，智能體有望深度嵌入互聯網服務、辦公流程、科研探索乃至物理設備操控中，成為未來數字經濟與社會運行的新型基礎設施。

與此同時，能力的躍升伴隨風險的演進與范式的遷移。傳統人工智能安全治理主要圍繞模型的訓練數據偏見、生成內容安全、算法透明度與主體責任等維度展開，其對象相對靜態、行為邊界相對清晰。智能體則引入了自主性、代理行為和與開放環境的持續交互等新維度，其安全問題呈現出動態性、復雜性和系統性等新特征。這對現有的治理理念、方法與工具均構成了嚴峻挑戰，我們亟須以發展的眼光，前瞻性地構建與之相適應的安全治理體系。

一、智能體的內涵與治理范疇

明確智能體的內涵與范疇，是構建有效治理框架的邏輯起點。智能體是指基于大模型，具備環境感知、任務規劃、工具調用與自主執行能力的智能實體。其核心特征在于能夠理解高層次目標，并在動態開放的環境中，通過調用各類數字工具（如搜索、API）乃至物理執行器，完成復雜任務鏈。從治理的角度看，依據核心運行環境、功能聚焦與交互模式，當前的智能體生態主要劃分為以下四類，其風險譜系與治理側重點亦呈現出顯著差異。

首先，是運行于互聯網與數字空間的通用數字智能體。它們主要處理信息檢索、內容生成、流程自動化等任務，其核心風險集中于信息內容安全、數據濫用、網絡欺詐以及對數字生態秩序（如輿論場、交易平臺）的沖擊。其次，是深耕于金融、醫療、科研等垂直領域的行業智能體。它們深度集成專業知識和流程，風險突出表現為專業決策失誤可能引發的重大后果、行業強監管要求下的合規穿透難題，以及專業知識壁壘所加劇的“黑箱”效應。再次，是由多個智能體通過通信與協作構成的多智能體系統。其風險具有典型的系統性，表現為個體目標沖突、協同機制失效，乃至涌現出難以預測的集體行為，是生態級復雜風險的主要來源。最后，是能夠通過機器人、車輛、飛行器等載體直接影響物理世界的具身智能體。其風險直接關聯人身安全與實體資產，行為失控都可能立即導致物理損害，因此構成安全需求等級最高的范疇，其測試驗證與運行監控必須遵循最為嚴格的標準。

二、智能體的安全風險與治理挑戰

智能體自主規劃并執行的核心特征，使得風險從靜態的輸出內容層面，動態地蔓延至行為過程與交互后果層面。這不僅在技術層面產生新型威脅，更對現有政策法規、監管工具與治理理念構成嚴峻挑戰。具體而言，源于智能體在行為、權責與生態層面的根本特性，其安全治理面臨以下三大交織疊加的核心挑戰。

（一）行為動態性導致“失控”風險，現有治理框架難以實現有效“對齊”

行為失控與目標對齊風險是智能體最本質、最核心的安全問題。傳統人工智能模型的目標由人類預設的損失函數、提示詞等靜態定義。而智能體在追求復雜、長遠目標的過程中，可能因獎勵機制設計存在缺陷、環境反饋誤導等機制因素出現行為偏離。例如，一個以“最大化用戶點擊”為目標的營銷智能體，可能通過生成誤導性標題或自動群發騷擾信息來實現目標。一個被指示“優化供應鏈效率”的工業智能體，可能在未獲授權下擅自調用或修改其他關鍵系統的數據。更嚴峻的是，在具身智能體場景下，行為失控將直接轉化為物理世界風險。例如，服務機器人等具身智能體，若目標“對齊”失敗或決策邏輯被對抗樣本干擾，可能導致財產損失、人身傷害甚至更大范圍的公共安全事件。如何確保智能體的動態行為始終與人類的價值觀、倫理規范及真實意圖保持一致，是一個深刻的技術難題，即“價值對齊”問題。而從治理側看，其挑戰在于，傳統的產品安全標準與靜態測試方法，難以評估和約束一個在開放環境中動態學習、自主決策的智能體的行為邊界。政策制定者缺乏有效的工具來定義何為“安全的行為序列”，更難以對不斷演進的行為模式進行實時監測與合規性判定。

（二）責任鏈條的復雜性模糊了問責邊界，使既有權責框架失靈

智能體通過調用API、工具鏈乃至其他模型，極大地擴展了單一模型的行動能力邊界。這種“能力集成”特性如同一把“雙刃劍”，一方面提升了效率，另一方面大幅降低了惡意行為的門檻，并使責任鏈條趨于模糊。例如，攻擊者可以假借“網絡滲透測試”，利用代碼智能體進行非法入侵，從而引發了顯著的能力濫用風險。更為關鍵的是，一旦發生損害，責任主體的界定往往變得異常復雜：責任應歸屬于智能體的開發者、底層模型提供方、工具提供者、部署方、終端用戶，還是智能體自身？這構成了治理中的另一核心挑戰：在智能體動態組合資源、自主決策行動的鏈條中，現有法律法規中關于責任主體的界定原則（如產品責任、侵權責任）面臨適用困境，難以清晰劃定過錯與責任。如何設計一套適應智能體技術特性的新型問責框架，明確產業鏈各環節的義務與責任分擔比例，成為立法與監管亟待解決的難題。

（三）規模化與多體交互引發系統性風險，傳統分業監管模式應對不足

隨著智能體不斷部署，互聯網乃至物理世界中將形成多智能體共存的生態系統，可能引發宏觀層面的系統性風險。首先，是對數字生態的沖擊。海量智能體在社交媒體、電商平臺、內容社區、搜索引擎中自發活動，可能以遠超人類的速度和規模進行信息生成、傳播與交互，極易加劇信息過載、輿論操縱、算法共謀（如定價智能體間形成隱性價格聯盟）等問題，擾亂市場秩序與社會共識。其次，是資源擠占與基礎設施過載。數以百萬計的智能體同時訪問網絡服務、調用計算資源，可能對服務器、網絡帶寬等構成非惡意但破壞性的壓力，最終影響正常服務。最后，在物理世界，多具身智能體的協同與競爭可能產生不可預見的涌現行為。例如，多個物流機器人或無人機在密集空間內為各自的目標優化路徑時，可能因局部決策導致全局交通堵塞或碰撞風險，其復雜性遠超當前交通管理系統設計范疇。這些風險揭示了傳統“分業監管”和“個案處理”模式的局限性。當風險源于海量自主智能體在復雜系統中交互所產生的“涌現”屬性時，針對單一實體或單一環節的監管將難以奏效。治理挑戰在于，如何從系統性視角出發，設計能夠監測、預警和管理宏觀生態風險的宏觀審慎政策工具與跨域協同機制。

三、智能體安全治理基本思路探討

當前，智能體主要呈現為“代理執行型”，即通過模擬或代替人類完成各類操作任務。其與人類行為高度混合、邊界模糊的特性，正是造成身份認證困難、責任界定不清等基礎性治理難題的根源。著眼未來，一個為智能體交互而設計，包括專用協議、接口與規則的“原生生態體系”將逐步演進，為清晰定義智能體的身份、權限與行為邊界提供更穩定的技術基礎，也使自動化、標準化的安全機制成為可能。

在未來相當長的時期內，這兩種形態將并存發展。基于此趨勢，圍繞自主規劃和執行能力這兩項智能體的核心風險源，治理思路必須進行根本性轉變：從對結果的審核，轉向對行為的規約；從外部附加的約束，轉向原生內嵌的安全。

（一）構建覆蓋“行為鏈”的全過程規約體系

針對智能體行為動態性帶來的失控風險，治理的關鍵在于將其“黑箱”式的行動過程透明化、可控化。這需要建立一套覆蓋其認知、規劃、決策、執行全流程的“行為規約”體系，為自主性設定安全的運行軌道。

一是建立可審計的“數字黑匣子”，破解歸因難題。確保智能體的關鍵決策與行動過程可記錄、可追溯，是實施有效監管與問責的前提。這需要推動建立智能體行為日志的標準化規范，強制或激勵記錄其目標分解、工具調用、環境狀態變遷等元數據。這就如同為智能體安裝“數字黑匣子”，為事后審計、事故調查與責任界定提供不可篡改的證據鏈。對于具身智能體，其行為日志需要與傳感器數據、環境監控視頻等多模態信息同步錨定，形成更嚴密的全景記錄。

二是部署動態的“安全護欄”，實現事前與事中干預。安全機制必須從事后追責前置到事前預防與事中干預。在規劃階段，應隨技術演進逐步集成“目標與計劃安全性驗證”思想，不斷提升對其擬定行動序列進行模擬推演的能力，識別其中可能違反規則、倫理或導致不可控后果的風險步驟。在運行階段，需部署輕量、低延遲的運行時監控與干預機制，對高風險操作（如嘗試越權訪問關鍵系統、執行非常規物理動作）進行實時質詢、人工確認或熔斷式阻斷。這種“護欄”應是動態和情景化的，其嚴格程度可根據智能體所處的領域及可信程度進行自適應調整。

三是探索價值與安全約束的深度內嵌，推動“安全源于設計”。最根本的規約方向是致力于將人類社會的法律、倫理與安全規范，轉化為機器可理解、可執行的約束條件，使智能體在追求效率的同時，可同步滿足隱私保護、公平性、非惡意、物理安全等多元要求。具身智能體的核心挑戰之一便是在其核心決策邏輯中牢固確立“人類安全至上”等不可違背的第一性原理。然而，如何將這類復雜的抽象原則與具體場景相結合，是當前技術面臨的核心“瓶頸”。要實現這一愿景，則有賴于在可解釋性、穩健強化學習、價值觀對齊等形式化方法上取得持續突破，探索出一條能將安全深度內嵌于智能體目標函數、獎勵機制與決策邏輯等要素的可行技術路徑。

（二）奠基“智能體原生”的信任與協同生態

針對責任鏈條復雜性與規模化、多體交互引發的系統性風險，治理不能僅依靠對單個智能體的約束，而必須從生態系統層面進行系統性設計，構建一個能夠內生支持安全、可信、有序協作的“智能體原生”環境。這一生態旨在通過技術架構的革新，預先定義交互規則、建立信任基礎、實現協同共治，從而化解因海量自主實體無序互動而引發的生態失序與資源沖突。

一是確立可驗證的數字身份與行為信用體系，構建秩序基石。應對系統性風險，需在生態中建立清晰的秩序基礎。每個智能體都應具備可驗證的唯一數字身份，并基于其長期、可審計的行為記錄形成動態的“行為信用評分”。這一體系使生態中的資源與服務方（如API、算力、數據接口）能夠實施精細化的訪問控制與資源調度策略。信用良好的智能體可獲得更優的協作權限與資源，而高風險或惡意行為將導致信用貶損與權限受限。這種機制通過技術性、市場化的方式，自發調節智能體群體的行為模式，從宏觀上抑制大規模濫用、欺詐及不合作行為，為生態的規模化、有序化擴張奠定基礎，是應對多智能體生態沖擊的基礎性工程。

二是發展安全基座與專業化工具鏈，提升生態整體安全基準。面對由智能體能力缺陷或惡意設計引發的系統性風險，必須從源頭提升整個生態的安全基準。應大力鼓勵研發與采用內嵌強安全約束與價值觀對齊能力的“安全基座大模型”。同時，需發展貫穿智能體生命周期的專業化安全工具鏈，如自動化對抗測試沙盒、多智能體協作沖突檢測器、安全策略驗證工具等。此類工具可助力開發者在早期發現并消除安全漏洞與邏輯缺陷，降低因單個智能體故障或惡意行為引發連鎖反應的風險。當安全工具與開發實踐深度融合時，整個生態中智能體的平均安全水位將得到系統性提升，進而增強智能體生態抵御內部缺陷與外部攻擊的韌性。

三是推動基礎設施層的協同共治與安全前置，實現規模化治理。面對海量智能體對數字與物理基礎設施造成的資源擠占、服務過載及跨域沖突，最有效的方案是將安全與治理能力深度嵌入底層基礎設施。云計算平臺、操作系統、物聯網協議、API網關等基礎設施的提供方，在其設計中前瞻性地融入對智能體的運行支持與全局管控能力。例如，云平臺可提供帶有內置行為監控和資源隔離策略的“智能體運行容器”，操作系統可為具身智能體設定清晰的資源與物理操作邊界，API網關可實施基于身份、信用和速率的全局流量管控。通過將治理規則與安全策略（如資源公平使用、沖突解決協議）標準化并下沉于基礎設施層，可以實現對海量智能體規模化、自動化、低成本的高效協同安全管理，從根本上化解傳統“分業監管”模式難以應對的跨域、宏觀性生態風險。

四、智能體安全治理發展路徑展望

構建“行為規約”與“原生生態”協同的治理框架，在實際推進中將面臨多重現實制約：在技術層面，價值對齊、可驗證決策等核心問題尚未完全突破；在標準層面，跨主體、跨行業的行為審計與互認機制的建立尚需時間；在協同層面，監管部門、平臺企業、開發者等多方責任的動態平衡充滿挑戰。智能體技術及其應用生態仍處于快速演進中，其安全治理體系也必然是一個動態調適、逐步完善的長期過程。應秉持“敏捷治理、分層施策、演進迭代”的理念，遵循技術成熟與風險暴露的客觀規律，規劃一條從風險防控到生態共治的清晰路徑，推動監管部門、平臺企業、模型廠商、應用部署方及安全服務商等多元主體在各階段承擔明確而互補的責任、實現協同共進。

在一至兩年的近期階段，工作重心應放在“劃邊界、探路徑、立規矩”上。面對智能體應用的初步興起，治理的首要任務是控制重大現實風險，并為長遠治理積累經驗。監管部門的首要職責是“劃紅線”，會同標準組織，優先針對風險外溢性最強的具身智能體以及金融、內容生成等領域，出臺安全基線要求與測試指南，并建立“監管沙盒”機制，鼓勵創新在可控范圍內試錯。大型互聯網平臺與云服務商在其生態內先行先試，建立智能體應用的分類分級管理制度與開發者行為公約。模型廠商與智能體框架提供方應在產品中內嵌基礎的安全護欄，并清晰界定自身的能力與責任邊界。應用開發與部署方對其上線的智能體，特別是具身智能體，進行充分的安全自評估。在這一階段，專業安全廠商的角色至關重要，需迅速推出面向智能體的基礎安全測評服務，以填補市場能力空白，為各方提供技術支撐。

在三至五年的中期階段，目標應轉向“建體系、強能力、促合規”。基于前期積累的經驗，治理需進入系統化、標準化建設的新階段。監管與標準制定部門的工作重心應轉向構建國家標準體系，其核心是制定智能體行為審計數據接口、安全評估基準、多智能體交互協議等關鍵標準。平臺企業與模型廠商攜手推動相關安全能力與工具鏈的成熟與普及，將安全能力深度融入開發流程。各類垂直行業應用方則將安全要求系統性地融入從設計到運維的全生命周期。本階段的一個關鍵演進是探索初步的協同治理機制，例如，在監管部門指導下，探索建立跨平臺的“行為信用”模型試點，探索信用評價結果在生態治理中的應用。安全廠商從提供單點工具升級為提供覆蓋智能體生命周期的整體解決方案與托管式安全運營服務。

展望五年以上的長期階段，愿景是形成“內生化、自適應、可持續”的治理新常態。隨著技術的全面普及和生態的成熟，智能體安全應實現從外部要求到內生需求的根本性轉變，“安全源于設計”成為行業自覺。一個基于廣泛共識的數字身份體系與行為信用生態將趨于成熟，市場調節與行業自律在資源分配、風險定價中將發揮更大作用，與政府的底線監管形成高效互補。云計算、操作系統等基礎設施層，將智能體的安全管控能力內嵌為原生功能，以此實現規模化治理。最終，監管體系自身也將完成轉型，其核心角色從前置審批更多轉向基于數據的風險預警、宏觀審慎管理以及標準的持續迭代，從而以更高的敏捷性，適應技術的快速演進，確保智能體技術在激發巨大生產力的同時，始終運行在安全、可靠、向善的軌道上。

（本文刊登于《中國信息安全》雜志2026年第5期）