AI時代，那些藏在安全背后的數學理論

本文來自微信公眾號： HavenlonLabs ，作者：HavenlonLabs

當AI還只是生成文字、圖片和代碼時，一次出錯不過是回答不準、圖片跑偏、代碼返工。但當AI開始能發郵件、改數據庫、批訂單、調資金、控制設備，它就從"回答問題的模型"變成了"把判斷變成現實的執行系統"。

這中間的差別不是量的，而是質的。前者的錯誤可以被撤銷、重來、修補；后者的錯誤會沉淀成一筆轉賬、一條刪除的記錄、一個已經合上的電閘。一旦落地，很多結果沒有"再生成一次"的選項。

我們卻仍習慣用同一套指標給這兩類系統打分——正確率99%、99.9%、99.99%，每多一個9，仿佛就離"可信"更近一步。但安全領域最容易被忽略的一句話是：

正確率描述系統通常表現如何，卻沒告訴你它最壞能錯到哪里。

下面七個數學視角，藏著AI執行安全真正的分水嶺。它們不復雜，用的都是中學數學，卻常常在最關鍵的決策上被繞過去。

1.正確率把所有錯誤壓成了同一個數字

一個系統執行一萬次，9999次對、1次錯，正確率99.99%。報表上堪稱優秀。但那一次錯是什么？錯分一封郵件，幾乎無害；誤刪生產數據、批一筆無法追回的轉賬、啟動高風險設備操作，評價則完全不同。

問題在于，正確率只數次數。統計表里，分錯郵件是"1"，轉錯巨款也是"1"。可現實中的錯誤從不等價。

衡量安全，更接近現實的是"風險等于概率乘以損失"這條基本公式：

風險=發生概率×可能損失

一個錯誤很少發生，不代表它不重要。假設某類事故概率只有萬分之一，每次卻損失一億元，把它代入公式，風險依然是一萬元，不能被當作"幾乎為零"隨手抹掉。

更麻煩的是，這類損失往往不能用平均值消化。企業也許能承受每年穩定損失一萬元，卻未必扛得住某天突然損失一億。前者是可以攤進預算的成本，后者可能直接決定企業還在不在。數學上的期望值假設你能反復經歷很多次、讓好運和壞運相互抵消；但對一家公司來說，最壞的那一次如果足夠壞，就沒有"下一次"來平攤了。安全評估要看的，從來不只是期望值，還有那條最壞情況的尾巴有多長。

智能系統追求提高做對的比例，安全系統關心限制做錯的代價。

2.一萬次沒出事，不等于風險為零

另一種常見說法是："系統跑了一萬次，從沒出嚴重問題。"很有說服力，但它只證明過去一萬次沒出事，證明不了概率為零。

用"一次都不出事的概率"這個公式可以算筆賬：

一次都不出事的概率=(1?p)^n

其中p是單次事故概率，n是測試次數。若p是十萬分之一、n是一萬，代入后約等于90%。也就是說，即便系統真藏著十萬分之一的風險，跑一萬次仍有約九成可能什么都看不見。它未必通過了考驗，只是還沒遇到那道考題。

這也是很多重大事故發生前，系統長期"穩定運行"的原因：風險不是在事故當天才誕生的，它可能一直存在，只是過去的樣本還沒觸發它。

沒觀察到風險是一種觀測結果，風險不存在是一個強得多的結論。

3.越罕見的事故，代價往往越大

頻繁的小問題容易被看見：頁面每天卡十次，用戶會投訴，報表會記錄，問題越頻繁越容易進入工作計劃。真正危險的風險常常相反——幾年一遇，甚至一家公司整個周期都沒發生過，可一旦發生，一次抵得上所有日常小錯之和。

同樣用"概率乘以損失"對比兩類問題：

問題A：概率1%×損失100元=平均風險1元問題B：概率0.001%×損失1000萬元=平均風險100元

A更常見，B幾乎看不見，但B的平均風險是A的一百倍。而且B一旦發生，帶來的不是"平均100元"，是實打實的1000萬。

錯誤也從不均勻分布。假設系統每年十萬次任務，99%是普通操作（錯誤率0.01%），1%是緊急操作（錯誤率5%）：普通操作約出10次錯，緊急操作只有一千次卻出約50次錯。整體正確率仍高達99.94%，可占業務量1%的緊急操作，制造了超過80%的錯誤。

這就像一條平均一米深的河，大部分地方半米，中間卻有個五米深的坑。平均值沒撒謊，它只是把最危險的部分藏了起來。修堤壩的工程師從不按河流的平均水位設計，決定堤壩高度的，永遠是幾十年甚至百年一遇的極端水位。AI執行系統也一樣：普通任務里的小錯決定用戶體驗，極端場景里的一次錯卻可能決定企業還能不能繼續存在。

所以安全評估不能只問"平均錯誤率是多少"，還要追問：高金額操作、緊急模式、陌生地址、跨境轉賬、權限恢復、數據缺失、多規則沖突時，錯誤率各是多少。總體表現優秀，證明不了每一個局部場景都安全。

事故不會公平落在每一次操作上，它總聚集在系統最難處理、后果最嚴重的角落。

4.三個人同意，可能只是同一個錯誤重復了三次

為降低個人誤判，企業慣用多人審批。邏輯沒錯，但前提是判斷足夠獨立。

用"多數表決下至少兩人同時出錯的概率"來看：三個獨立審批者各有10%錯誤率、多數通過，至少兩人同錯的概率約2.8%，遠低于單人的10%。這正是多人決策能提高可靠性的數學基礎。

可現實中的審批往往不獨立：三個人看同一份摘要、依賴同一個AI風險評分、引用同一個數據庫。若系統自動生成的摘要寫著"常規數據庫優化，預計無業務影響"，三位負責人看的都是這句話，都沒查實際命令，于是都點了同意。流程上是三人共審，信息結構上只是同一份錯誤摘要被確認了三次。人數增加了，獨立信息卻沒有增加。

增加審批層同理。第二道防線是否有價值，取決于它能否在第一道失敗后發現新問題。用"剩余風險等于漏檢率乘以未識別比例"估算：

第一道漏檢5%，第二道獨立且識別80%→剩余風險=5%×(1?80%)=1%第二道只看同一份摘要、僅識別5%→剩余風險=5%×(1?5%)=4.75%

同樣兩層流程，前者把風險降到1%，后者幾乎原地踏步。組織付出了更多時間、生成了更多日志，真實安全能力卻沒變。審批的價值不在頁面上多了一個名字，而在于它是否帶來新的事實、新的驗證方式和新的拒絕能力。

真正降低風險的，不是多一個人點擊，而是多一個獨立的信息來源。

5.AI的"90%確定"，不是現實中的90%安全

當AI說"我有90%把握"，人們容易聽成"這件事90%安全"。但置信度只是模型對自身判斷的評分，不是現實開出的擔保書。一個校準良好的模型，給90%置信度的判斷里約九成正確；可現實中的模型可能給90%時實際只對70%，甚至在從沒見過的場景里依舊自信。模型最危險的狀態，不是承認不知道，而是不知道自己不知道。

即便置信度完全準確，它也只覆蓋模型看到的那部分。真實執行還依賴輸入是否真實、數據是否完整、審批是否被誤導、策略是否過期、設備是否正常。用"串聯系統整體可靠度等于各環節可靠度相乘"這條公式來看，假設一條鏈五個環節各99%可靠：

整體可靠度=99%×99%×99%×99%×99%≈95.1%

每一環單看都優秀，組合后只剩約95.1%。不是哪一環突然變差，而是串聯結構會把每一環的不確定性乘在一起、層層累積。環節越多，這種衰減越明顯——十個99%的環節串起來，整體可靠度就跌到約90%。這也解釋了一個反直覺的現象：把系統拆得越細、加的檢查越多，如果這些環節是串聯的、必須全部正確，整條鏈反而更脆弱。

模型可以有90%的把握，但"模型有多少把握"和"這項操作能否被安全執行"，始終是兩個不同的問題。

置信度是模型對自己的評價，不是現實對模型的承諾。

6.為什么最后一道邊界反而應該更"笨"

如果正確率覆蓋不了嚴重后果、歷史數據證明不了零風險、多人審批可能共享同一錯誤、模型置信度也代表不了全鏈路安全，那現實執行最終該靠什么？

答案有點反直覺：最后一道邊界不需要比AI更聰明，它應該更簡單、更保守。

AI要理解復雜世界——讀文件、判意圖、處理例外、在不完整信息里給出最可能的答案。最后一道邊界不需要理解世界，它只需記住少數絕不能被突破的條件。用一個"所有條件相乘"的判定公式表達：

執行=A×T×W×Q×S其中：金額未超限A、目標在允許范圍T、時間在許可窗口W、授權人數達標Q、設備狀態正常S（每項滿足記1，不滿足記0）

任何一項為0，結果就是0，即拒絕執行。它不懂"情況緊急"，不會被一個充分的理由或一段宏大敘事說服，只檢查條件是否滿足——這正是它的價值。越聰明、越靈活的系統，越擅長為例外找理由；而最后一道邊界要做的，恰恰不是理解例外，而是拒絕例外。

AI可以建議向一個新地址轉移資產，邊界只需檢查這個地址是否經過必要的等待與驗證；AI可以判斷某項操作非常緊急，邊界只需檢查緊急狀態下是否仍滿足金額、授權和設備條件。AI負責處理開放世界的復雜性，邊界負責守住封閉世界的底線。

AI需要理解整個世界，邊界只需要記住哪些事情絕不能發生。

7.從"提高正確率"到"限制錯誤的距離"

過去的軟件主要追求效率：更快、更準、更自動，就意味著更高的生產力。AI時代沒有改變這一點，卻增加了一個新問題——當一個概率系統擁有了現實執行能力，錯誤就不再停留在屏幕上。一句錯話可以重說，一筆完成的轉賬可能無法撤回；一個錯誤建議可以修改，一次已經發生的物理動作卻沒有第二次機會。

所以AI安全不能只問"怎樣讓模型少犯錯"。模型該更準、數據該更可靠、測試該更全面、審批該更有效，但這些主要解決的仍是"降低出錯概率"。執行安全還必須回答另一個問題：一旦錯誤真的發生，它能走多遠？能否越過審批、拿到簽名、改動關鍵系統，把一個概率性的判斷直接變成不可逆的現實？

這兩件事都重要，但不是同一件事。前者是把出錯的概率往下壓，后者是給已經發生的錯誤裝上剎車和護欄，限制它能造成多大的破壞。一個只優化正確率的系統，是在賭壞事永遠不發生；一個真正安全的系統，是在假設壞事遲早會發生的前提下，仍然讓后果可控、可撤回、可承受。

成熟的系統不會把希望全押在錯誤永不出現。它承認模型會誤判、數據會污染、人會疲勞、審批會被誘導、規則會過期、設備會異常，然后在所有不確定性之后，仍保留一道簡單、清晰、獨立、能夠說"不"的邊界。這道邊界不追求聰明，只追求可靠；它不參與判斷該不該做，只負責守住絕對不能做的那條線。

統計學研究不確定性如何出現，安全工程研究的，是不確定性抵達現實之前如何被攔住。最終，我們需要記住的也許只有一句話：

概率可以參與判斷，但不能獨自擁有執行權。

本內容由作者授權發布，觀點僅代表作者本人，不代表虎嗅立場。如對本稿件有異議或投訴，請聯系 tougao@huxiu.com。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4877207.html?f=wyxwapp