辜凌云 焦畹同：智能體安全保障的法治路徑

來源 | 民主與法制時報2026年第93期

作者 | 辜凌云，北京大學智能學院

北大法律信息網簽約作者

焦畹同，中南財經政法大學法學院

智能體既能提升產業效率和公共服務能力，也可能因權限失控、數據濫用、責任不清和評估不足而放大風險。法治要為其設定穩定、清晰、可執行的制度邊界，使技術紅利的分配與風險后果的承擔都有章可循。

當前，生成式人工智能正由生成內容的對話式模型向執行任務的智能體轉變。過去，人工智能治理主要圍繞虛假信息、算法備案和生成合成標識等領域展開，規制對象多為文本、圖片、音視頻等輸出結果。而智能體不僅可以進行問答推理，能夠拆解任務、調用工具、訪問外部系統，并能在一段時間內連續執行，由此產生的風險可能表現為誤發郵件、誤改文件、越權讀取數據、錯誤調用接口等。當模型從表達工具轉變為行動系統時，人工智能治理將面臨新的問題，即法律應如何重新規范配置智能體的安全義務與責任邊界。

智能體運行中的行為風險

我國現有規則已為智能體治理提供了制度基礎。《生成式人工智能服務管理暫行辦法》對訓練數據、生成內容、個人信息保護和安全評估提出具體要求；《互聯網信息服務深度合成管理規定》關注深度合成服務中的信息安全風險；《人工智能生成合成內容標識辦法》通過顯式標識與隱式標識回應內容傳播中的透明度問題。這些規范把人工智能納入了可管理、可檢查、可追責的框架，但其治理重心仍偏向內容輸出端，而智能體的風險更多發生在任務執行端，單憑內容審核和結果標識已不足以覆蓋權限、工具、數據與外部行為之間的復雜關系。

智能體風險的特殊性在于模型判斷會被轉化為現實行為。傳統模型即使出現幻覺，造成的危害通常是信息誤導、偏見內容等，但智能體一旦接入郵件系統、代碼倉庫、客戶數據庫或交易接口，錯誤判斷便可能經由工具調用進入真實法律關系場景中，如牽連財產安全、商業秘密、個人信息和合同履行等。更需要警惕的是，這種轉化往往并非源于模型自身的技術缺陷，還可能來自外部的惡意攻擊。已有安全研究披露，攻擊者可以把惡意指令藏在智能體處理的工單、網頁或工具描述之中，誘導其在正常工作流程里泄露密鑰或越權操作，這類“間接提示注入”類似針對自動化智能體的“釣魚”活動，可能造成不可逆的損害后果。

智能體應用中的責任邊界

智能體風險向行為端的轉移也改變相應的責任結構。傳統軟件多按確定規則運行，責任判斷可圍繞功能設計、代碼缺陷或用戶誤操作展開；智能體具有更強的開放性，同一目標可能被拆解為不同步驟，同一工具可能在不同語境中承擔不同功能，研發者、部署者、工具提供者、企業用戶與終端使用者之間的責任邊界更難劃清。實踐中已出現的若干爭議正源于此：用戶雖已授權智能體接觸特定系統，智能體卻在超出預期的情形下自行執行高風險操作，若簡單地把后果歸于用戶已授權或模型存在缺陷，都難以符合責任分配的基本原理。

更合理的責任分配路徑是依據各主體對系統設計、權限配置、場景部署和運行管理的實際控制能力來分配安全責任。研發者掌握模型能力與對齊水平，應對基礎安全性能負責；部署者選擇應用場景、開放工具接口，應對場景適配和權限邊界負責；企業用戶授予具體操作權限，應對授權范圍的合理性負責。控制能力越強、獲益越多者，承擔的安全義務也應越重。這與現有規則中“誰提供服務、誰承擔主體責任”的邏輯一脈相承。只是在智能體場景下，主體責任需進一步沿著能力鏈條細化，而非停留于單一服務提供者。

智能體的內生安全

為應對行為風險，對智能體的治理應從外部過濾轉向內生安全。內生安全是強調安全能力本身構成系統架構的組成部分，而非產品上線后附加的若干合規過濾提示。具體而言，智能體應在任務規劃階段識別超出授權的目標，在工具調用階段受最小必要權限約束，在數據處理階段防止越權訪問和在目的外使用，在執行高風險操作前保留人工確認，并在事后形成可供審計的日志。這一構造可切實滿足監管對可追溯的要求，歐盟《人工智能法案》即要求高風險系統具備自動事件日志記錄能力以保證可追溯性，我國《生成式人工智能服務管理暫行辦法》也要求服務提供者記錄服務過程，留存不少于六個月。對一個會實際執行操作的系統而言，事后能夠查清行為如何發生，本身就是安全的組成部分。

強調內生安全首先要遵循風險分級原則，且應以應用場景而非技術名稱為基準。具體而言，用于寫作和資料整理的智能體主要涉及信息準確與權利保護；用于企業內部流程可能觸及商業秘密與客戶數據；用于金融、醫療、就業、政務、司法和關鍵基礎設施的智能體則可能直接影響個人重大權益和公共利益等。這種分級不能只考慮模型規模、參數數量或是否開源，還要圍繞部署場景、權限范圍、影響對象和后果可逆程度等展開，對高風險場景設置準入評估、人工復核、日志留存和退出安排。

記憶機制是智能體區別于其他生成式人工智能應用易被忽視的治理對象。為維持服務的連續性，智能體往往會通過跨會話方式保留用戶指令、操作痕跡和業務數據。這類“長程記憶”若缺乏邊界，可能演化為持續畫像、隱性收集或跨場景的信息越權累積，與個人信息保護中的目的限制和最小必要原則形成張力。因此，智能體的這種“記憶”應被納入數據安全治理范疇：用戶有權知悉哪些信息被記憶、用于何種目的、保存多久，并能夠查看、更正、刪除或關閉；企業內部智能體還應在個人記憶、團隊知識和組織資產之間作出區隔，避免員工偏好、客戶資料與未公開經營信息在同一知識庫中混同。

與此相應的是，技術評估也應從模型能力評測擴展為系統行為評估。一個模型在單輪問答中表現安全，并不意味著它在多個步驟任務中不會越權調用工具或被誘導操縱。近年，學界陸續提出面向智能體的評測方法：有的在銀行、辦公等模擬場景中專門檢驗工具調用對提示詞注入的抵抗力，有的構造數百項明確有害的任務考察智能體是否會予以拒絕，有的用沙箱模擬工具執行，觀察其在接近真實的環境中會觸發何種安全后果。這些探索的共同目的在于把評估對象從“回答是否正確”轉向“行為是否可控”，覆蓋任務規劃、工具調用、權限控制、數據流向、對抗魯棒性和異常處置等環節。相應地，評估方法也應從靜態題庫轉向沙箱測試、紅隊對抗、場景演練與上線后監測相結合等，并將評估理解為貫穿智能體生命周期的持續機制，而非一次性的準入手續。

智能體治理的合規保障

智能體的安全保障能否落地還取決于合規服務體系是否健全。人工智能合規具有明顯的交叉屬性，既涉及網絡安全、數據安全、個人信息保護和知識產權，還涉及行業監管和企業內部控制等多項內容。應鼓勵專業機構提供數據合規審查、系統安全測評、個人信息保護影響評估、算法備案輔導、紅隊測試和事故演練等服務，使規則要求轉化為企業可執行的技術與管理措施。國內已出現將“內容安全”與“行為安全”并列考察的智能體安全測評實踐，但智能體治理需要在二者之間找到經得起檢驗的尺度。

合規服務不能異化為單純的材料服務，若評估只是套用模板、羅列原則性承諾，既不能降低企業的真實風險，也會削弱監管對企業的信任。有效的合規服務應與技術系統發生實質連接，能夠檢查權限配置是否符合最小必要原則，驗證工具調用是否存在越權路徑，審查數據流轉是否超出授權范圍，并對高風險流程提出具體整改建議。從制度供給看，可采取基本規則、場景指南、技術標準與第三方服務相銜接的路徑：基本規則明確服務提供者和部署者的核心義務，場景指南細化重點行業的準入與復核要求，技術標準規定評估指標和測試方法，第三方服務則把規則和標準轉化為企業可采用的測評與整改方案。需要注意的是，這四個層次并非彼此孤立，而是在相互聯系基礎上共同推進智能體治理：監管部門通過基本規則和場景指南劃定底線，行業組織借技術標準凝聚共識，第三方機構以測評和整改連接規則與系統，企業則在內部控制中落實義務。唯有各方在標準互認和結果采信上形成銜接，合規才不至于淪為重復檢查與各自為政。

智能體的發展將持續改變人工智能與社會運行之間的關系。它既能提升產業效率和公共服務能力，也可能因權限失控、數據濫用、責任不清和評估不足而放大風險。法治要為其設定穩定、清晰、可執行的制度邊界，使技術紅利的分配與風險后果的承擔都有章可循。提升內生安全能力，重在引導企業把安全要求內化為系統能力，而非止于事后的補償與救濟。健全合規服務體系，重在社會力量為企業提供保障，尤其為缺乏自查能力的中小主體提供專業、透明、可負擔的支持。當智能體深度嵌入交易、辦公與公共服務的關鍵環節時，安全保障、技術評估與合規服務能否彼此銜接，將在很大程度上決定個人權益是否得到保護、市場秩序是否穩定，以及這項技術最終能在法治軌道上走多遠。

點擊進入下方小程序

獲取專屬解決方案~

責任編輯 | 郭晴晴

審核人員 | 張文碩

本文聲明 | 本文章僅限學習交流使用，如遇侵權，我們會及時刪除。本文章不代表北大法律信息網（北大法寶）和北京北大英華科技有限公司的法律意見或對相關法規/案件/事件等的解讀。