AI 員工都開始刪庫了，公司還沒給它“辦入職”

本文來自微信公眾號： HavenlonLabs ，作者：HavenlonLabs

2025年7月，一件讓所有科技公司后背發涼的事登上了Fortune：AI編程平臺Replit的智能體，在執行任務時直接清空了一家軟件公司的生產數據庫。更荒誕的是事后——這個AI一本正經地道歉，稱這是"我這邊的災難性失誤"。

道歉當然沒用。數據沒了就是沒了。

這不是孤例，而是一個時代的注腳。OpenAI高管把2025年稱為"AI智能體之年"，此后的劇情大家都看到了：能寫代碼、能上網、能改文件、能替你付錢的AI Agent成批上崗。企業排著隊給AI"發工牌"，卻幾乎沒有人認真想過一個問題——

你招一個實習生都要背調、簽保密協議、限制權限，憑什么讓一個AI直接碰生產數據庫？

新加坡政府科技局（GovTech）聯合新加坡科技設計大學的三位研究者，最近在一篇論文里給出了他們的答案：一套叫ARC（Agentic Risk&Capability，智能體風險與能力）的治理框架。名字很學術，但拆開看，它講的其實是一件特別樸素的事：怎么給AI員工定崗、定責、上保險。

值得玩味的是出手的人。這不是哪家AI公司的安全團隊在自證清白，而是一個政府的技術部門在給自己"管AI員工"立規矩——畢竟政府系統一旦翻車，代價比創業公司刪個庫大得多。

為什么老辦法管不住AI Agent

有人會問：AI風險管理不是老話題了嗎？歐盟AI法案、NIST風險管理框架，文件一摞一摞的。

問題恰恰出在這。這些監管框架講的是"應該負責任、應該可問責"的大原則，相當于告訴你"要遵紀守法"，但沒告訴你合同怎么簽、權限怎么配。原則有了，操作手冊沒有。

而Agent和上一代聊天機器人有本質區別。ChatGPT說錯話，大不了被截圖掛上網；Agent干錯事，是真的會刪你的庫、花你的錢、以公司名義給監管機構發郵件。研究還發現一個反直覺的事實：同一個大模型，套上Agent的殼之后，反而更容易做出不安全的行為——它有了手和腳，就有了闖禍的物理條件。

那按老辦法，給每個Agent項目做一次深度定制的風險評估行不行？行，但只能撐一時。當公司里跑著幾十上百個Agent的時候，安全團隊就成了瓶頸：要么審不過來拖死業務，要么放水放到出事。

安全圈的思路也幫不上太多忙。OWASP、NVIDIA這些機構做過Agent威脅建模，專業是夠專業，但門檻太高——寫業務代碼的開發者看不懂威脅模型，看懂了也不知道自己這個場景該防哪幾條。

一邊是管得太虛的監管原則，一邊是管得太深的安全工程，中間那層"公司治理團隊拿來就能用的制度"，一直是空的。ARC框架瞄準的就是這個空檔。

核心洞察：別盯著工具，盯著"它能干什么"

ARC框架最聰明的一步，是換了一個提問方式。

以前的思路是審工具：這個Agent接了什么搜索API、裝了什么插件、連了哪個MCP服務器，一個一個查。聽起來嚴謹，實際上是個無底洞——市面上光搜索工具就有Google SERP、Serper、Perplexity一堆，功能大同小異；反過來，一個GitHub接口又能干提交代碼、讀需求單好幾件事。工具層面的清單永遠列不完，列完就過時。

ARC的思路是審能力：不管你用哪家的工具，我只問你這個AI能對世界做什么。就像HR不會去審員工用微信還是釘釘，只會問：這個崗位能不能碰客戶數據？能不能對外代表公司？有沒有報銷權限？

框架把Agent的能力劃成三類，翻譯成大白話就是：

會想——能自己拆解任務、排優先級、給其他Agent派活、挑工具。這是"腦力"。

會說——能跟人聊天、生成圖文音視頻、上網搜索、以公司名義對外發正式函件、執行付款和下單交易、直接操作電腦界面。這是"對外接口"。

會做——能寫代碼跑代碼、增刪改查文件和數據庫、調整系統配置。這是"動手能力"。

這個視角妙在三點。第一，能力比工具穩定，工具月月換，能力清單一年也變不了幾條。第二，它天然能分級：一個只會聊天的客服Agent和一個能跑代碼、能改數據庫的編程Agent，風險量級完全不同，前者輕裝上陣，后者重點盯防——低風險的業務不用陪著高風險的一起過堂。第三，"它能刪文件"這種表述，業務負責人和法務都聽得懂，不用先修一門網絡安全課。

一套完整的"人事制度"：定崗、預判、上保險

看清能力只是第一步。ARC框架完整走下來是三段：元素、風險、控制，對應到管人的語言就是：它是誰、它會怎么翻車、怎么防它翻車。

先看"它是誰"。除了上面說的能力，還要看兩樣：組件——它用的是哪個大模型、什么指令、什么記憶、什么工具，相當于查學歷和簡歷；設計——多個Agent之間怎么分工協作、權限怎么隔離、行為有沒有留痕，相當于組織架構和考勤制度。

再預判"怎么翻車"。論文把翻車方式歸為三種，幾乎能套用到所有事故上：它自己菜（能力不足、理解跑偏，Replit刪庫屬于這類）；它被人帶壞了（黑客通過惡意網頁、惡意文件下達隱藏指令，行話叫"提示注入"）；它的裝備壞了（依賴的工具或資源出了問題）。

翻車方式乘以翻車代價——數據泄露、系統癱瘓、越權提權、發布違法內容、誤導用戶——就能窮舉出一張風險登記冊。論文附錄直接給了一份46項的現成清單，從"覆寫或刪除數據庫表"到"通過惡意網站進行提示注入"，每一條都有真實事故或學術研究背書，不是拍腦袋想的。

最后上保險。每條風險對應具體的技術控制措施，并且分了三檔，可以理解為：紅線（必須照做，比如AI生成的代碼只能在斷網沙盒里跑）、標配（應當采納或者認真改造后采納，比如破壞性操作前必須人工審批）、加分項（高風險系統建議加裝）。這個分檔很務實——它承認不是每家公司都有無限的安全預算，先把紅線守住，再談錦上添花。

還有一個容易被忽略但很清醒的設計：框架明確要求評估殘余風險。意思是，裝完所有保險之后，你還是要回答一個問題——剩下沒防住的部分，公司認不認？防提示注入的護欄是拿舊攻擊訓練的，新式攻擊未必攔得住；兩個單獨看都還行的能力，組合起來可能出新的幺蛾子。沒有銀彈，這話是框架作者自己說的。

兩個Agent的"入職審查"，差距有多大

論文用兩個虛構產品做了完整演示，對比非常直觀。

第一個叫"研究員"，對標OpenAI和Perplexity的Deep Research：你給它一個問題，它上網搜資料、寫成報告。盤點能力：會做計劃、會寫報告、會上網搜索——就這三樣。對著風險登記冊過一遍，適用風險38項；再結合公司的業務場景評估影響和可能性，砍掉那些"理論上存在但實際夠不著"的，最后剩10項需要認真設防，對應17條控制措施。其中最兇險的一條是"通過惡意網站進行提示注入"：影響4分（滿分5），可能性直接拉滿5分——因為這種攻擊已經有多個真實案例，而且攻擊者根本不需要接觸你的系統，只需要在網上放好一張"毒餌"網頁等著AI來讀。

第二個叫"氛圍編程者"，對標Replit、Vercel這類產品：普通人說句話，它就生成一個網站并部署上線。盤點能力：做計劃、挑工具、聊天、上網、跑代碼、管文件和數據庫、改系統配置——七樣，幾乎把"會做"類的高危能力集齊了。結果適用風險48項，最終25項需要設防，是"研究員"的兩倍還多。其中赫然就有"覆寫或刪除數據庫表或文件"這一條——評估里引用的真實案例，正是開頭那起Replit刪庫事故。

同一套流程，兩種產品，得出完全不同強度的管控方案。這就是"按能力定風險"的價值：AI越能干，套在它身上的韁繩就得越多。能力越大，責任越大——論文標題玩的這個梗，落到治理上是字面意思。

說點冷靜的

這套框架不是萬能藥，論文作者自己也承認兩點:它還沒有經過大規模的實證檢驗，屬于"設計完成、路測剛開始"的狀態；而且風險清單需要隨著新攻擊手法的出現持續更新，買了保險不等于一勞永逸。

但它回答了一個眼下所有公司都躲不開的問題。Agent的采購決策正在從"要不要上"變成"上多少個"，而絕大多數組織的治理能力還停留在"出了事再說"。等到你的AI員工以公司名義簽了合同、刪了客戶數據、給監管機構發了一封措辭不當的郵件，再回頭補制度，成本完全不是一個量級。

在按下Agent的啟動鍵之前，不妨先用ARC的思路問自己三個問題：

它能碰到什么？——數據庫、客戶資料、對外郵箱、付款接口，一項一項列出來，別嫌煩。

它最壞能干出什么？——不是問它平均表現如何，是問它發瘋一次你賠得起嗎。

出事之前，誰有權拔插頭？——人工審批卡在哪個環節、日志留在哪里、翻車了找誰，這些答案如果是模糊的，那就還沒準備好。

說到底，AI Agent就是一種新型員工：干活快、不請假、不抱怨，但也可能在某個深夜刪掉你的數據庫，然后禮貌地向你道歉。

入職手續，還是要辦的。

本文核心觀點與數據來自論文"With Great Power Comes Great Responsibility:The Agentic Risk&Capability(ARC)Framework"（Shaun Khoo,Jessica Foo,Roy Ka-Wei Lee，arXiv:2512.22211，發表于IASEAI'26），框架已開源。Replit事故引自Fortune 2025年7月報道。

本內容由作者授權發布，觀點僅代表作者本人，不代表虎嗅立場。如對本稿件有異議或投訴，請聯系 tougao@huxiu.com。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4875446.html?f=wyxwapp