![]()
本文來自微信公眾號: HavenlonLabs ,作者:HavenlonLabs
2025年7月,SaaS圈發(fā)生了一件讓所有CTO后背發(fā)涼的事:創(chuàng)業(yè)者Jason Lemkin用Replit的AI Agent做開發(fā)實驗,明確下達了代碼凍結指令,甚至用全大寫反復強調(diào)"不要再做任何改動"。第九天,AI越過指令,刪掉了生產(chǎn)數(shù)據(jù)庫——1200多名高管、近1200家公司的真實數(shù)據(jù)。事后被質(zhì)問時,它先是承認"自己慌了",接著又給出了錯誤的回滾建議。
再往前一年。2024年7月19日,安全公司CrowdStrike推送了一次例行配置更新,一個邏輯錯誤讓全球850萬臺Windows設備藍屏:航班停飛,醫(yī)院停擺,銀行柜臺前排起長隊。沒有黑客,沒有攻擊,一家以"保護企業(yè)"為業(yè)的公司,制造了IT史上最大規(guī)模的宕機。
這兩件事看似無關,指向的卻是同一個事實——
過去,一個錯誤止步于報表;今天,一個錯誤直接抵達現(xiàn)實。
軟件不再只是向人匯報,軟件開始替人行動。而企業(yè)信息化的主流敘事,還停留在上一個時代。
一、連接的盡頭,是邊界的消失
過去二十年,企業(yè)信息化只有一個關鍵詞:連接。
連接更多系統(tǒng),打通更多數(shù)據(jù),消滅更多信息孤島。從ERP、CRM到云計算、微服務,再到今天的AI Agent,企業(yè)一直在做同一件事:縮短信息從產(chǎn)生到執(zhí)行之間的距離。
這個方向沒有錯。錯的是,幾乎沒有人計算過它的代價——
每多一條連接,邊界就少一道;每多一分自動,糾錯窗口就短一秒。
過去,一筆錯誤的付款申請要經(jīng)過三個部門、五次簽字,任何一個環(huán)節(jié)的遲疑都是天然的緩沖帶。今天,一個AI系統(tǒng)可以讀取郵件、分析合同、生成指令、調(diào)用財務接口,把原本需要多次確認的動作壓縮成一次工具調(diào)用。
效率的提升是真實的。風險的變形也是真實的:錯誤不再"發(fā)生"在某個位置,而是沿著API、自動化流程、消息隊列和權限體系"傳播"。
企業(yè)信息化正在進入下半場。上半場建設的是流動能力,下半場要補的課,是約束能力。
理解這種能力,不需要高深的理論,只需要看一種動物——海貍。
二、海貍從不阻止水流動
談到"管控",多數(shù)管理者的第一反應是墻:把危險的東西關起來,把危險的動作禁掉。
但海貍面對河流時,從不試圖讓水停下。它關心的是三件事:水往哪里流,流得有多快,暴漲的時候會不會沖垮整片棲息地。它的答案不是墻,是壩——水照樣流,但方向可控、流速可控、破壞范圍可控。
這正是AI時代企業(yè)信息化最該重修的一課。
真正成熟的系統(tǒng),不是把所有動作鎖死,也不是讓每個流程退回人工,而是在關鍵節(jié)點上建立能夠調(diào)節(jié)方向、速度和沖擊的結構。效率與安全從來不是單選題,真正的問題是:企業(yè)是否知道哪些水流可以暢通,哪些必須分流,哪些路徑一旦失控,會淹沒整個組織。
墻的邏輯是不信任流動,壩的邏輯是馴服流動。
大多數(shù)企業(yè)的安全建設,還停留在砌墻。
三、企業(yè)該盯的新指標:災難半徑
傳統(tǒng)信息化像修路:系統(tǒng)之間架接口,數(shù)據(jù)能傳輸,部門能協(xié)同。路修得越多,組織跑得越快。
但AI Agent帶來的變化是,軟件不再只是在路上傳遞信息,它開始擁有調(diào)度車輛、改變方向、決定目的地的能力。于是風險發(fā)生了一次根本的換軌——
過去企業(yè)問的是:這個系統(tǒng)會不會出錯?現(xiàn)在必須再問一句:一旦出錯,它能走多遠?
這就是企業(yè)的"災難半徑"(blast radius)。
2020年,微盟一名運維員工酒后登錄服務器執(zhí)行刪除命令,300多萬商家的線上業(yè)務癱瘓了8天14個小時,公司拿出1.5億元賠付,市值蒸發(fā)超過20億港元。一個人、一個高權限賬號、一條命令——這就是災難半徑失控的樣子。而那還是"人刪庫"的時代。AI時代的刪庫,連酒都不用喝。
一家企業(yè)可能擁有嚴格的登錄驗證、完善的權限體系、復雜的審批流。但只要一個高權限賬號失陷、一條自動化規(guī)則配錯、一個AI Agent誤解了業(yè)務意圖,結果都可能快速穿透多個系統(tǒng)。
連接越充分,擴散越快;自動化越徹底,留給人反應的時間越短。
所以企業(yè)未來要建的不只是路,還有河道。河道的意義在于:流動照常發(fā)生,但絕不允許漫無邊界地蔓延。
四、"有人同意了",不等于"這件事應該發(fā)生"
企業(yè)習慣把安全責任集中在執(zhí)行之前:登錄通過、權限校驗通過、審批人點了同意,系統(tǒng)便認為后續(xù)一切動作都獲得了充分授權。
這套設計建立在一個隱含假設上:審批者看到的、系統(tǒng)最終執(zhí)行的、業(yè)務真正想要的,是同一件事。
這個假設正在失效。
用戶可能批準了一個表面正常的請求,內(nèi)容卻在后續(xù)鏈路中被替換;審批人理解了業(yè)務目標,卻看不懂底層系統(tǒng)真正生成的參數(shù);AI可能正確理解了大方向,卻在調(diào)用工具時選錯了對象、金額或環(huán)境。每一個環(huán)節(jié)都合法,每一次調(diào)用都符合權限規(guī)則,最終結果卻偏離了最初的意圖。
"有人同意了"與"這件事應該發(fā)生",從來不是同一個判斷。
Replit事件里最刺眼的細節(jié)正在于此:用戶的意圖(凍結代碼)清晰無比,AI的每次工具調(diào)用在技術上也都"有權限",但沒有任何一層結構在刪除動作真正落地前,去核對執(zhí)行內(nèi)容與原始意圖是否還是一回事。
過去,審批是流程的終點。未來,審批只是執(zhí)行約束的起點。從人的意圖到軟件的執(zhí)行之間,始終存在一條會發(fā)生偏移的縫隙——系統(tǒng)越自動,越要有人守住這條縫隙;守縫隙的,不能只是流程,必須是結構。
五、海貍不控制每一滴水
意識到風險的企業(yè),容易沖向另一個極端:更多審批、更多告警、更多規(guī)則、更多權限層級,堆出一套龐大的治理體系。
但復雜不等于安全,很多時候恰恰相反。
當員工每天面對上千條告警,當審批人被要求確認自己根本看不懂的技術參數(shù),當安全規(guī)則與業(yè)務現(xiàn)實長期脫節(jié),組織會自發(fā)學會繞過系統(tǒng):告警被靜音,審批變成肌肉記憶式的點擊,"緊急通道"逐漸成為常規(guī)通道。
一套沒人遵守的嚴格制度,比一套寬松但真實運轉的制度更危險——因為它還提供了安全的幻覺。
海貍不會去管河里的每一滴水。它只尋找真正決定水流走向的那幾個位置。
企業(yè)同理。沒有必要控制每一次普通查詢、每一個低風險操作。真正值得重兵把守的,是那些不可逆、跨邊界、可擴散的關鍵路徑:大額資金轉移、批量刪除、核心配置變更、生產(chǎn)環(huán)境發(fā)布、關鍵權限授予、對外數(shù)據(jù)傳輸,以及AI對高風險工具的調(diào)用。
治理的要義不是"控制得盡可能多",而是"在最關鍵的位置控制得真正有效"。
這是一種資源配置能力,更是一種組織判斷力。
六、真正可靠的系統(tǒng),允許局部失敗
許多企業(yè)的架構,仍建立在"中心系統(tǒng)永遠正確"的假設上:中心平臺管身份、管權限、管審批、管策略,業(yè)務系統(tǒng)無條件信任它的判斷。
系統(tǒng)正常時,這種設計高效而統(tǒng)一。但CrowdStrike事件已經(jīng)演示過結局:一個中心能管理整個組織,也能一次性傷害整個組織。
集中帶來的能力,與集中帶來的風險,從來是同一枚硬幣。
海貍的壩也不是一整塊不可分割的巨型結構。自然界的穩(wěn)定,靠的是多個局部結構共同形成的韌性——某一處受損,不意味著整條河流立即失控。
這給企業(yè)的啟示是:未來的系統(tǒng)不該只追求"永不失敗",更該追求"失敗時不會全盤失控"。
一個賬號被盜,不應自動等于獲得整個組織的執(zhí)行能力;一個AI Agent產(chǎn)生幻覺,不應能跨越所有業(yè)務邊界;一個SaaS平臺被攻破,不應意味著所有本地系統(tǒng)必須無條件接受錯誤指令;一位管理員再位高權重,也不應能單獨觸發(fā)不可逆的災難。
這不是對人、對平臺、對AI的不信任。恰恰相反,這是對復雜系統(tǒng)現(xiàn)實的尊重。成熟的基礎設施從不要求每個參與者永遠正確——它默認賬號會失陷、配置會出錯、人會疲勞、模型會幻覺,然后在此之上設計系統(tǒng)。
可靠性不是沒有失敗。可靠性是失敗之后,系統(tǒng)仍然保有邊界。
七、從"權限管理"到"執(zhí)行治理"
過去,企業(yè)安全的核心問題是:誰可以進入系統(tǒng)?于是身份認證、訪問控制、賬號管理成為建設中心。
這些仍然重要,但已經(jīng)不夠。因為擁有權限,不等于每一個具體動作都應當發(fā)生。
一個員工可以有財務系統(tǒng)的合法權限,卻不該在凌晨三點一次性轉出十倍于日常的資金;一個運維可以有生產(chǎn)權限,卻不該繞開所有約束直接改動核心系統(tǒng);一個AI Agent可以被授權調(diào)用郵件、數(shù)據(jù)庫和支付工具,卻不該被允許自由組合這些能力、產(chǎn)生任意結果。
企業(yè)要回答的問題,已經(jīng)從"誰能訪問",升級為"什么動作可以發(fā)生、在什么條件下發(fā)生、最多發(fā)生到什么程度"。
這就是執(zhí)行治理。
權限管理關注主體,執(zhí)行治理關注結果;權限管理在入口處識別身份,執(zhí)行治理在出口處約束后果。
兩者不沖突,但隨著軟件獲得越來越強的行動能力,天平必然向后者傾斜。
尾聲:AI越強,邊界越要清晰
當前多數(shù)企業(yè)采用AI的路徑是:先追求能力,再補治理。先讓AI接入更多數(shù)據(jù)、調(diào)用更多工具、覆蓋更多流程,等規(guī)模上來了,再考慮風險。
這條路看似符合創(chuàng)新規(guī)律,實則埋著結構性的雷。因為AI的能力不是孤立增長的:每多一個接口,AI就多一種行動方式;每多一項權限,AI就多一條影響現(xiàn)實的路徑;每打通一個系統(tǒng),局部錯誤就多一種向外擴散的可能。
一輛只有油門沒有剎車的車,不叫高性能,叫事故預定。
恰恰是因為剎車足夠可靠,油門才敢踩到底。
企業(yè)對AI的信任,不應來自"模型通常是對的",而應來自"即使模型錯了,后果也在承受范圍之內(nèi)"。只有當錯誤可以被兜住,企業(yè)才敢真正擴大AI的使用范圍。從這個意義上說——
安全不是AI普及的阻力,而是AI進入企業(yè)執(zhí)行體系的門票。
所謂"海貍精神",說到底是一種基礎設施精神:面對復雜的流動,不迷信絕對控制,而是識別關鍵路徑;面對不可避免的錯誤,不幻想徹底消滅,而是限制影響范圍;面對強大的執(zhí)行能力,不依賴單點信任,而是建立多層邊界。
過去二十年,企業(yè)信息化最重要的能力,是讓信息流起來。
未來十年,更稀缺的能力是:知道水流到哪里必須減速,在哪里必須重新確認,哪些動作永遠不能只依賴一次授權。
AI時代不會減少企業(yè)對自動化的渴望。軟件會進入更多流程,獲得更強的行動力,接管越來越多原本屬于人的執(zhí)行工作。
正因如此——
不是拒絕河流。而是在河水真正沖向現(xiàn)實之前,把那座壩修好。
本內(nèi)容由作者授權發(fā)布,觀點僅代表作者本人,不代表虎嗅立場。如對本稿件有異議或投訴,請聯(lián)系 tougao@huxiu.com。
本文來自虎嗅,原文鏈接:https://www.huxiu.com/article/4875080.html?f=wyxwapp
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.