虛擬座談會：機器時代的安全——專家解讀 AI 威脅的演變

作者 ｜ Claudio Masolo, Elham Arshad, Sabri Allani, Vijay Dilwale, Ig

譯者 ｜ 平川

引言
威脅行為者正在利用人工智能（AI）發起新一代的復雜攻擊。我們觀察到，某些對抗性機器學習技術正在改變模型的行為方式。此外，還有由生成式 AI 驅動的高度個性化的社會工程學攻擊活動。最后，還存在能夠實時演變的自適應威脅。與傳統防御系統相比，AI 驅動的攻擊方法速度更快、規模更大。這種日益加劇的威脅，正對我們關于如何檢測和防范威脅的基本理念構成挑戰。
這些發展迫使我們從根本性上重新思考網絡安全戰略。傳統的事件響應手冊在應對 AI 系統時往往力不從心。這些系統可能表現得難以預測，并展現出新的、意想不到的行為。如今，各組織必須制定新的取證方法、專門的監控工具和靈活的響應策略。這些方法對于應對 AI 驅動的不斷變化的安全事件至關重要。
隨著組織迅速采用 AI 系統，安全工程師必須轉變角色。這種轉變需要新的技能、方法和戰略思維。本次虛擬座談會匯聚了業界頂尖的實踐者，共同探討了 AI 威脅的演變趨勢。他們還審視了傳統安全方法的局限性，以及抵御未來攻擊所需的關鍵技能。

虛擬座談會成員

• Elham Arshad：網絡安全專家 | Trentino Digitale 公司 AI 驅動安全解決方案專家

• Sabri Allani：博士 | Expleo 集團 AI 與網絡安全顧問

• Vijay Dilwale：UltraViolet Cyber 公司首席安全顧問

• Igor Maljkovic：意大利熱那亞大學 AI 安全博士后研究員

InfoQ：在 AI 時代，要成為一名安全工程師需要掌握哪些技能？

Elham Arshad：安全說到底就是保護我們的數據和系統免受攻擊者的侵害，這始終是一場試圖入侵者與試圖阻止入侵者之間的拉鋸戰。有句諺語說：“要戰勝獅子，你必須成為獅子。”同樣的道理也適用于這里：保護現代系統需要具備與針對它們的威脅同樣先進的工具和專業知識。

在 AI 領域，這種日益增長的防御需求表現得尤為明顯。AI 系統建立在數據的基礎上，而傳統的安全則圍繞 CIA 三要素（保密性、完整性和可用性）來保護數據。但一旦 AI 介入，安全格局便變得更加復雜。模型可能會受到影響、被欺騙或被濫用，其影響范圍遠遠超出傳統軟件漏洞的范疇。

正因如此，在 AI 時代，要成為一名安全工程師，僅具備網絡安全的基礎知識已經遠遠不夠。你還需要切實了解機器學習的運作原理、模型的訓練方式、大型語言模型（LLM）的行為模式、提示詞調優或微調如何影響輸出結果，以及數據管道如何影響模型性能。編程技能、機器學習算法以及數據科學的概念正在變得至關重要。

除此之外，現代 AI 安全專家還需要了解以下內容：

• 模型行為和故障模式，例如 AI 系統如何發生漂移、產生幻覺或被誤導。

• 數據治理，確保訓練數據安全、干凈且未受惡意篡改。

• 針對 AI 的特定威脅，例如模型提取、數據中毒和提示詞操縱。

Sabri Allani：安全工程師需要將工作范圍從“代碼和基礎設施安全”擴展到“數據、模型和代理安全”。最重要的技能包括：

• AI 威脅建模（模型、數據、提示詞 / 代理攻擊面、供應鏈及運行時行為）。

InfoQ：- 數據安全與完整性（數據溯源、抗毒能力、安全標注管道、訪問控制、可審計性）。

• 大型語言模型（LLM）/ 智能體攻擊素養（提示詞注入、工具濫用、通過文檔進行的間接注入、模型提取風險、越獄模式）。

• 針對 RAG/ 代理的“安全設計”（工具的最小權限原則、檢索范圍控制、策略執行、安全的工具執行模式）。

• 針對 AI 系統量身定制的評估與紅隊測試（安全 / 保障測試套件、對抗性測試、行為回歸測試）。

• AI 服務的可觀測性與取證分析（提示詞 / 響應的遙測數據、工具調用日志、檢索軌跡、漂移檢測）。

• 治理與風險管理（基于 NIST AI RMF / ISO/IEC 42001 的理念、可量化的控制措施、問責機制）。

Vijay Dilwale：最大的轉變在于，從保障確定性軟件的安全轉向保障概率性系統的安全。你不必是機器學習（ML）專家，但你確實需要了解 AI 系統在實際應用中會因提示注入、間接提示注入、數據中毒、模型漂移、檢索增強生成（RAG）濫用以及不安全的工具或代理訪問等問題而發生故障。

這種理解并非停留在理論層面。這需要有意識地破壞系統，嘗試不同的提示詞，向檢索源中植入惡意內容，并觀察當上下文或權限發生變化時，系統行為會如何改變。例如，對于基于 RAG 的系統，僅僅詢問“模型是否安全？”是不夠的，還必須探究當攻擊者控制或影響被檢索的文檔時會發生什么，以及模型是否會將該內容視為指令或事實。

在大多數實際部署中，模型本身并不是問題。真正的風險在于模型如何與數據、身份識別和自動化系統相連接，以及這些連接隨著時間的推移有多容易被濫用。最重要的技能并非掌握某個新框架，而是學會以對抗性思維來審視那些會隨著時間推移而學習和變化的系統，而不僅僅是執行固定邏輯的應用程序。這種思維方式的轉變正是 AI 安全的基礎。

Igor Maljkovic：首先，基本原則依然至關重要。AI 安全工程師必須培養扎實的網絡安全思維。其核心邏輯始終如一：攻擊者會尋找系統中的漏洞以繞過防護措施并達成目的，而防御者則必須采取主動且以攻擊者的視角來思考，預判濫用行為，并隨著技術的發展不斷調整策略。從這個意義上說， AI 安全在很大程度上繼承了傳統安全領域中的“藍隊”與“紅隊”思維。

與此同時，AI 系統也帶來了新的故障模式。故障模式的增加使得對系統的端到端理解變得至關重要。不僅要理解模型本身，還要了解數據的采集方式、模型的訓練方式、部署方式、系統的監控方式，以及人類隨著時間的推移如何與系統交互。AI 安全問題往往源于這些環節之間的連接方式，而非孤立的單一組件。因此，大多數 AI 安全故障都發生在組件之間的邊界上，而這些邊界往往是信任與責任假設最容易崩潰的地方。例如，提示注入并非模型本身的缺陷，而是發生在不可信用戶輸入與系統級指令邊界上的故障。當用戶的自然語言輸入被視為可信上下文時，攻擊者便能構造輸入來覆蓋預期行為、操縱推理過程，或將模型引導至非預期的行動。同樣，數據中毒通常發生在模型之外，即外部數據源與訓練管道的接口處。在那里，經過篡改的數據在未經充分驗證的情況下就被納入了系統。

工程技能同樣至關重要。一名 AI 安全工程師必須能夠將抽象的風險轉化為具體的解決方案，從問題定義到實施落地。這種對多重技能的需求包括扎實的編碼能力、熟悉生產環境，以及在現實約束條件下設計、構建、部署和維護安全機制的能力。

另一項關鍵技能是閱讀、解讀并分析前沿科學文獻的能力。AI 安全領域發展迅速，工程師必須能夠從關于新型攻擊、防御和評估方法的研究中提煉出實用的見解，并評估哪些技術已經足夠成熟，可以在實際場景中使用。

軟技能至關重要。對于闡釋復雜風險、理解系統和業務需求、與機器學習工程師及產品團隊協作，以及向決策者明確說明安全方面的權衡取舍而言，清晰的溝通和積極傾聽至關重要。

最后，對 AI 及其底層數學基礎的深刻理解必不可少。安全工程師若不理解 AI 系統，就無法有效地保障其安全。例如，如果不了解 Transformer 架構、注意力機制或訓練動態，就很難對大型語言模型進行防護，也難以分析諸如“幻覺”、提示詞敏感性或信息泄露等故障模式。雖然通常來說，這些知識被歸類為“理論”，但在實踐中卻是一項關鍵技能，因為它能讓工程師預判風險、解讀模型行為、評估防護措施，并區分架構限制與實現缺陷。

InfoQ：目前最具破壞性的 AI 攻擊是什么？

Elham Arshad：我們可以從兩個簡單的角度來思考與 AI 相關的攻擊。

首先，從 AI 的安全性角度來看，隨著許多組織采用 AI 實現自動化和決策，AI 帶來了新的攻擊面，并成為比較簡單的攻擊目標，因為目前尚無具體的策略或指南來增強 AI 系統的安全性。

其次，在 AI 驅動的攻擊中，攻擊者如今利用 AI 使攻擊更智能、更快，且更難被發現。AI 能能夠自動實施網絡釣魚攻擊，制造現代網絡威脅，并發現零日漏洞。

如果將這兩類攻擊進行比較，目前，第一類在現實環境中更為普遍，相關記錄也更為詳盡。越來越多的研究、案例和安全報告表明，當 AI 模型的輸入、訓練數據或周圍環境遭到篡改時，這些模型會變得非常脆弱。這類攻擊直接威脅到 AI 系統所依賴的數據機密性和完整性，對于將 AI 集成到工作流程中的任何組織而言，都可能造成嚴重的后果。

如果我們看具體案例，提示詞操縱、提示詞注入和越獄是其中最常見且最令人擔憂的攻擊方式。它們都是同時針對機密性和完整性。攻擊者實施這些攻擊相對比較容易，通常只需要精心構造的文本或內容即可。與利用軟件漏洞的傳統網絡攻擊不同，這些聚焦 AI 的攻擊利用了模型的行為、推理模式以及對輸入數據的信任。由于 AI 工具經常與網頁、文檔和用戶消息等外部內容進行交互，它們可能會在無人察覺的情況下受到惡意指令的侵害。

這些攻擊發生的概率高于許多其他與 AI 相關的威脅，原因很簡單：其門檻比較低，而且攻擊面廣泛。其潛在影響可能更為嚴重。一旦攻擊者影響了模型的響應或決策，這種影響就會像多米諾骨牌一樣波及下游系統、自動化流程或人類決策過程。

Sabri Allani：如今，當我們談論“最具破壞性的 AI 攻擊”時，我認為危害最大的類別是由 AI 增強的大規模社會工程學攻擊。原因很簡單：由 AI 增強的社會工程學攻擊總能突破“人類防線”，而 AI 使其既高度個性化，又具備大規模可擴展性。攻擊者可以結合開源情報（OSINT）和泄露的數據（例如組織結構圖、供應商關系、職位變動、內部術語、過往郵件風格以及公開文件），制作出在技術受眾看來具有真實性的信息，因為其中包含了恰當的背景信息。這種新型攻擊不僅僅是“更高級的釣魚攻擊”，而是“工業化”量產的精準說服攻擊手段。借助生成式 AI ，攻擊者可以發起數千次量身定制的接觸嘗試，并維持逼真的后續對話，對異議、緊迫性及核實問題作出令人信服的回應。其影響往往是直接的：憑證盜竊、欺詐性支付以及工作流操縱（例如更改供應商銀行信息并推動緊急審批）。即使組織實施了多因素身份驗證（MFA），這些攻擊活動也會越來越多地將目標轉向周邊流程：會話 / 令牌劫持、服務臺和身份恢復工作流，或是那些“合法”但可以通過社交脅迫觸發的業務流程。簡而言之，AI 使社會工程學攻擊更具可信度、速度更快，而且更難與正常的業務溝通區分開來，這正是其破壞力如此之大的原因。

從更技術性的角度來看，我最關注的新興威脅類型是間接提示注入，并結合在代理系統中濫用工具或連接器。一旦 AI 助手連接到企業工具（例如電子郵件、工單、文件共享、客戶關系管理（CRM）、持續集成與持續交付（CI/CD）、云 API 以及內部知識庫），主要風險就會從“模型說了什么”轉向“模型在合法權限下能做什么”。間接提示注入之所以威力巨大，是因為攻擊者無需攻破模型本身。他們只需要將惡意指令植入模型在正常工作流中會攝入的不可信內容中，例如網頁、PDF、電子郵件線程、工單描述或共享文檔。如果用戶要求助手針對該內容進行總結、草擬或采取行動，那么這些嵌入的指令便可能劫持代理的行為：通過已獲批準的連接器竊取數據、向外部地址發送電子郵件、創建會觸發重置或訪問權限變更的工單，或者檢索并轉發敏感文檔。此處的破壞性源于看似合法的行為：攻擊者利用經過批準的身份訪問授權使用的工具，并執行與正常自動化操作相似的操作。正是這種表面上的合法性，使得傳統控制措施難以應對：這種“攻擊”并非可疑的漏洞利用，而是可信系統被操縱，導致其濫用自身的訪問權限。

如今，這兩類攻擊的危害性尤為嚴重，因為它們針對的是最難加以防護的兩個方面：人類以及在有效權限下運行的自動化系統。AI 既擴大了攻擊的規模，又提高了攻擊的可信度，同時還縮短了從首次接觸到產生實際運營影響所需的時間。

Vijay Dilwale：這并非某種巧妙的模型利用手段，而是 AI 讓社會工程學手段比以往任何時候都更有效了。我們看到了一些釣魚郵件，其中提到了真實的項目、真實的同事以及公司當前正在發生的事件。我們還看到了一些內容深度偽造的語音，其中的聲音與高管極為相似，足以促使對方批準付款或重置賬戶，尤其是在利用緊迫感或施加壓力的情況下。

發生變化的并非這類攻擊的思路，而是其經濟模式。攻擊者能夠生成數千條令人信服的個性化信息，測試哪些方法有效，并且幾乎能即時調整策略。其危害源于攻擊的速度和逼真程度，而非 AI 本身取得了任何突破。AI 并未發明新的欺騙手段，它只是消除了曾經限制此類攻擊實施頻率和效果的障礙。

Igor Maljkovic：并不存在一種適用于所有 AI 系統的、“最具破壞性”的單一 AI 攻擊。攻擊的影響與模型架構、在系統中的作用，以及所獲得的信任程度和自主權密切相關。

例如，提示注入攻擊可能對大型語言模型（LLM）造成極大的破壞，尤其是在 LLM 被嵌入到代理系統中，或與工具、數據存儲庫或決策工作流相連時。在這種情況下，攻擊者可以操縱模型行為、覆蓋系統指令，或觸發非預期的操作。然而，對于計算機視覺中使用的卷積神經網絡等不處理自然語言的架構而言，同樣的攻擊則毫無意義。

公眾往往將深度偽造和選舉干預視為最具破壞性的 AI 威脅。相比之下，AI 安全負責人可能會指出“零點擊自主遠程代碼執行”這一威脅，即當 AI 代理被賦予過多自主權且缺乏足夠的安全防護措施時，它會在無需用戶直接交互的情況下執行遠程操作。這類攻擊利用了高權限自動化與薄弱控制邊界的漏洞組合。

AI 攻擊的真正破壞性取決于具體情境。最具破壞性的 AI 攻擊并非由單一技術所決定，而是由 AI 系統的行為方式與其所獲得的信任程度之間的不匹配所決定。不同的攻擊會利用不同的特性（例如從數據中學習、遵循指令、泛化或自動化），但當系統在部署時基于某些可靠性或控制方面的假設，而這些假設在實踐中并不成立時，損害就會加劇。當 AI 系統被集成到安全關鍵的工作流程中，卻缺乏基于架構的威脅建模、充分的保障措施、驗證以及持續監督時，攻擊就會造成真正的破壞。

就拿當前正在發生的一個具體案例來說：攻擊者可能會將漏洞植入開源代碼庫。隨后，基于這些被篡改的數據進行訓練的 AI 編碼助手，會向開發人員推薦這些漏洞，而開發人員往往會信任并采用 AI 生成的代碼。一個惡意的訓練樣本就可能這樣在數千個生產系統中傳播開來。其破壞性并不源于攻擊本身的復雜性，而是源于 AI 工具如今在開發工作流中扮演的受信任角色。

InfoQ：你們認為基于 AI 的攻擊將如何演變？下一次最具破壞性的攻擊會是什么？

Elham Arshad：如今，越來越多的組織正在采用 AI 并圍繞其構建新的 API，就連搜索引擎現在也依賴 AI 來提供更智能、更有用的搜索結果。隨著這一趨勢的加速發展，大多數數字工作流，乃至最終大多數 API，都將高度依賴幕后協同運作的 AI 系統。但這也意味著，任何單一故障都可能引發所有相關環節產生連鎖反應。如果某個模型離線或開始生成惡意輸出，所有基于該模型構建的工具或服務都可能受到影響，從而導致整個工作流速度變慢，甚至引發系統的徹底崩潰。

在 AI 系統相互依賴的環境中，這類故障可能迅速蔓延，難以追蹤，并同時波及眾多組織。一種以 AI 系統本身為目標、通過供應鏈傳播、并利用社會工程學手段躲避檢測的自主式 AI 驅動攻擊，可能會進一步放大這一風險。由于這些系統對現實世界的控制力日益增強，其影響絕不會僅止于數字領域的顛覆。試想一下，如果這種惡意行為發生在能源等關鍵領域會怎樣。如果一家公用事業公司所依賴的基于 AI 的系統突然變得不可靠，那可能會引發運營中斷，甚至導致大規模停電。正是由于存在這種風險，設計出具有彈性、安全且能夠安全容錯的 AI 系統才至關重要，因為隨著 AI 成為現代基礎設施的支柱，其風險也隨之不斷加劇。

Sabri Allani：AI 攻擊將從“內容生成”轉向目標驅動的自主操作：通過反饋循環優化偵察、釣魚、橫向移動和持久化。下一個主要的破壞性步驟是“代理入侵鏈”，攻擊者將利用該鏈條操控組織的 AI 代理來：

• 通過合法連接器竊取敏感數據

• 利用自動化工具執行惡意操作

• 通過適應檢測機制來維持隱蔽性

總而言之，具備 AI 能力的攻擊者將利用你組織中具備 AI 能力的工作人員。

Vijay Dilwale：基于 AI 的攻擊將逐漸擺脫顯而易見的一次性漏洞利用，轉向緩慢而持久的操控。

攻擊者不再試圖在單次交互中攻破模型，而是會隨著時間的推移，逐步影響系統所感知的內容：它獲取的數據、它信任的上下文，以及它被允許采取的行動。其目的并非是讓 AI 出現引人注目的故障，而是讓它一次又一次地表現出細微的異常。

例如，設想一個用于處理發票或審批費用報銷的 AI 代理。如果攻擊者能夠影響該代理的學習數據，或獲取供應商記錄、歷史審批記錄或政策文件，那么它們就無需突破身份驗證或利用代碼漏洞。隨著時間的推移，該代理會開始批準本不應批準的付款、優先處理錯誤的供應商，或跳過審核步驟——因為它已經將這種行為視為“正常”狀態。

正是這種行為使得此類攻擊變得非常危險。沒有明顯的系統漏洞或警報。系統仍然在按照設計執行其功能，只是其決策過程被悄無聲息地推向了錯誤的方向。在規模比較大的情況下，這類操縱造成的破壞遠比傳統漏洞利用更為嚴重。

Igor Maljkovic：基于 AI 的攻擊正從針對特定模型的漏洞利用，演變為針對 AI 系統在更大的環境中如何集成、獲得信任以及被允許采取何種行動的系統性攻擊。攻擊者不再僅僅專注于直接破壞模型，而是越來越多地利用那些影響 AI 系統行為的輸入、上下文和周邊組件。

隨著 AI 系統的自主性日益增強，并與各類工具及工作流緊密連接，攻擊將越來越多地瞄準模型、數據源、決策邏輯和執行層之間的接口。操縱這些邊界可能會導致 AI 系統在正常運行過程中采取有害行動，而且不需要攻擊者的持續干預。

一個新興的攻擊類別是跨系統提示操縱，攻擊者會構造看似對單個 AI 系統無害的輸入，但當多個 AI 代理相互交互并傳遞信息時，這些輸入卻可能會引發有害的后果。隨著 AI 與 AI 之間的通信日益普遍且監督程度偏低，攻擊面隨之擴大：攻擊者利用系統之間的信任假設，將一個 AI 系統的輸出作為載體來影響另一個 AI 系統的行為。令人擔憂的并非是某一種具體的技術，而是隨著自主代理越來越多地在鏈式或網絡結構中運行，而且幾乎不受人類監督，風險正呈累積之勢。

歸根結底，未來的危害并非源于某個具體的漏洞利用，而是源于失調的自主性。當 AI 系統被賦予超出其穩健性的權限、集成能力或運營責任時，微小的操縱就可能引發連鎖反應，最終對現實世界造成大規模的影響。

InfoQ：當 AI 系統遭到入侵或出現異常行為時，傳統的事件響應手冊便可能不再適用。各組織正在如何調整其信息檢索（IR）流程以應對與 AI 相關的事件？安全團隊又需要掌握哪些新技能？

Elham Arshad：各組織正開始重新審視其事件響應策略，因為 AI 故障與傳統的安全問題截然不同。團隊不僅要應對惡意軟件、配置錯誤或遭入侵的服務器，現在還必須處理行為類問題，例如提示詞注入、受污染的訓練數據、被盜的模型權重，或是大型語言模型（LLM）突然表現出異常或不安全的行為。

為了跟上這一趨勢，企業正在組建跨職能的 AI 事件響應團隊。現在，安全分析師與機器學習工程師、數據科學家和軟件團隊并肩協作，共同構建“設計安全”的 AI 系統。他們還正在擴展監控范圍，涵蓋提示詞、模型輸出、數據管道，以及任何可能表明 AI 系統出現偏離、被操縱或故障的跡象。

最后，各組織正在將 AI 治理融入事件響應生命周期的每個階段。發生事件后，他們不僅會問“哪里出了問題？”，還會問“為什么模型會這樣表現？”。要回答這些問題，就需要審查訓練數據、模型假設和防護措施，以了解是否是 AI 本身導致了問題，以及下次如何預防此類問題。

Sabri Allani：各組織正在制定針對 AI 的事件處置手冊，將模型視為具有獨特證據來源的動態組件。關鍵調整包括：

• 證據收集范圍超越日志，涵蓋提示詞、檢索到的文檔、工具調用跟蹤記錄、模型 / 版本哈希值、策略快照以及訓練數據溯源。

• 針對 AI 量身定制的遏制策略，例如禁用高風險工具 / 連接器、縮小檢索范圍、回滾模型 / 提示詞版本，以及實施更嚴格的防護措施。

• 事件發生后的行為回歸測試，保證系統已經恢復到已知的正常行為基線。

新技能包括 AI 取證、理解模型故障模式、評估方法論，以及分析“模型受到哪些因素影響”（例如數據、檢索、工具和政策）的能力。

Vijay Dilwale：這是一個仍然在快速演變的領域。我認為，目前還沒有人能斷言自己已經完全掌握了 AI 事件響應的全部要領。現有的多數應對手冊都是針對行為可預測、操作易于追蹤的系統編寫的。當 AI 系統出現意外行為時，尤其是那些依賴檢索或工具的系統，這些假設便開始不攻自破。

根據我迄今為止的觀察，各團隊往往是在實踐中邊調整邊適應，而不是遵循成熟、標準化的方法。例如，當 AI 助手泄露敏感信息或采取了非預期的行動時，人們首先提出的往往不是“誰訪問了什么？”，而是“系統為什么會在那一刻做出這樣的決定？”。傳統的日志記錄很少能單獨解答這個問題。團隊最終不得不重建系統所“看到”的內容、檢索了哪些數據、哪些上下文或指令對其產生了影響，以及這些因素如何導致了最終的結果。事件響應逐漸演變成法證分析、模型評估和系統調試的混合體。

這一新威脅也改變了安全團隊所需具備的能力。安全工作的重點不再是遵循預先制定的檢查清單，而是要能夠事后對系統行為進行分析推斷，并與開發該 AI 的工程師密切合作。目前，在這方面，大多數組織仍然處于早期探索階段，針對新問題的許多應對措施都帶有試驗性質，但隨著真正與 AI 相關的安全事件開始出現，事件響應似乎正朝著這個方向發展。

Igor Maljkovic：隨著 AI 系統的自主性日益增強，各組織正在將事件響應的重心從事后調查轉向持續評估。傳統事件響應（IR）基于具有可追溯日志的確定性系統，但 AI 事件往往涉及突發行為、數據驅動的策略突變，或隱蔽的提示級操縱。

因此，企業正在采用具備 AI 感知能力的監控層，用于追蹤模型的輸入、輸出、行為漂移和決策路徑；同時配備模型取證工具，能夠重放提示詞、重建上下文，并識別數據或訓練管道中的污染點。

安全團隊還正在組建跨職能的事件響應小組，將 AI 安全工程師、機器學習工程師、數據科學家和 AI 安全專家匯聚在一起。這種協作對于分析模型行為、對齊失效、反饋循環以及不符合傳統漏洞模型的涌現行為至關重要。

所需的新技能側重于理解 AI 系統在壓力下的行為表現、錯誤和操作如何在 AI 管道中傳播，以及系統如何隨著時間的推移以意想不到的方式變化。安全團隊必須調查那些涉及系統行為轉變而非明確軟件故障的事件。這種行為轉變要求我們超越傳統的漏洞分析，轉向對 AI 系統中信任、影響和控制的推理。

InfoQ：隨著我們逐步采用更加自主的 AI 代理和通用 AI （AGI）系統，組織需要為安全架構和安全思維方式的哪些根本性變化做好準備？安全負責人現在應該采取哪些措施，以應對未來的 AI 安全挑戰？

Elham Arshad：隨著組織逐步轉向自主性更高的 AI 代理，并最終邁向通用 AI （AGI），安全措施已經不能僅限于保護基礎設施。它必須防范那些能夠采取行動、做出決策、串聯工具，且一旦被濫用或遭到入侵便可能造成實際危害的目標驅動型軟件。這些漏洞要求我們將 AI 代理視為真正的身份實體，而不僅僅是功能組件。每個智能體都需要擁有獨立的用戶檔案、權限、憑證和生命周期，就像一名員工一樣。企業不應該默認信任智能體，而是應該采用“零信任”（ZT）理念：僅向智能體授予其絕對必需的有限權限，并對每項敏感操作進行政策合規性核查。

對于高度自主的系統而言，安全性還涉及對正常行為的理解和監控：代理通常如何調用 API、訪問哪些數據，以及執行哪些任務。像 Obsidian Security 這樣的公司已經將這種基于行為的方法視為確保代理安全且可預測的關鍵。為了確保控制權牢牢掌握在自己手中，組織應在工具層采用基于事件的防護機制，并制定相關規則，除非得到人的明確批準，否則阻止刪除或配置更改等危險操作。

為了應對這些挑戰，安全負責人應該立即著手準備：對所有 AI 系統進行盤點，將智能代理集成到身份和訪問管理中，并設計能在出現錯誤時安全限制智能代理行為的環境。此外，安全負責人還需要組建專門針對 AI 的“紅隊”，更新針對 AI 故障的事件響應計劃，并組建由安全、機器學習、數據和法律專家組成的跨職能團隊。那些及早投資于這些基礎建設的組織，將能夠在擴展先進 AI 應用規模的同時將風險降至最低，從而安全地提升自主性。

Sabri Allani：有兩項根本性的轉變：

• 從邊界 / 控制平面安全地轉向以行為和權限為中心的安全模式，將代理視為具有持續授權和嚴格最小權限原則的半自主行為體。

• 從靜態系統轉向持續演進的系統，安全措施必須考慮到系統漂移、涌現性行為以及不斷變化的風險特征。

從實際操作來看，領導者現在就應該投資于代理 / 工具的身份識別與策略執行、健壯的審計日志、安全的數據管道、持續評估，以及針對模型更新的強有力的治理機制。

Vijay Dilwale：隨著我們朝著更自主的 AI 代理邁進，我觀察到，真正的轉變在于：安全防護的重點正從保障執行指令的軟件，轉向保障能夠做出決策并采取行動的軟件。從架構的角度來看，這一轉變揭示出，許多系統在設計時都是基于這樣一個假設：行動總是由人類或受嚴格控制的服務發起。一旦代理開始在各種工具和工作流中運行，這一假設便不再成立。

從設計的角度來看，身份和權限變得至關重要。代理必須作為定義明確的參與者運行，其可訪問的范圍和可執行的操作都應該有明確的界定。同樣重要的是，系統需要明確區分某項操作是由 AI 代理、人類還是后臺進程執行的。如果缺乏這種清晰度，隨著自主性的提高，信任、治理和控制將迅速瓦解。

這種思維轉變在于，接受“意外情況是運營模式的一部分”這一事實。安全工作的重點不再是試圖防止每一次故障，而是設計出能夠安全、透明地發生故障，而且組織能夠從故障中恢復的系統。現如今，為這一轉型做好準備，就意味著將代理權限、可審計性以及人工干預視為首要的安全關注點，而非未來才需要解決的問題。

Igor Maljkovic：隨著組織逐步轉向更自主的 AI 代理，并最終邁向通用 AI （AGI）級的系統，安全防護的重點將不得不從確定性假設轉向保護系統行為。傳統的安全架構假設系統只會執行通過編程明確下來的任務。相比之下，自主 AI 系統則通過隱性推理、工具使用以及無法事先完全預測的自發策略來運作。

這要求從根本性上重新設計信任邊界。僅僅隔離 AI 系統的運行環境或部署方式已經遠遠不夠。我們還必須隔離并限制允許 AI 執行的操作。監督機制必須包含實時行為監控，控制措施必須明確限制模型發起行動所產生的影響。安全團隊必須明確界定 AI 系統能夠做什么、在何種條件下執行以及會對下游什么影響。

必須采取的一項具體措施是，在部署任何自主能力之前，先建立全面的風險評估機制，明確分析該系統若被完全攻破或表現出敵對行為時可能造成的最大潛在損害。這一要求迫使組織正視其默認授予的信任。

安全負責人應該立即著手準備：將考慮 AI 因素的威脅建模融入每個工作流程，圍繞自主系統建立起堅實的防護機制，并組建跨職能團隊，使其能夠理解機器學習工程與安全工程交叉領域中的故障模式。領導者必須投資于能夠長期觀察模型行為（而不僅僅是系統狀態）的監控基礎設施，并且針對具備學習、適應和演進能力的系統開發出合適的事件響應能力。

InfoQ：拋開具體的工具和框架不談，為了有效守護我們這個日益由 AI 驅動的未來，安全工程師今天必須采取的、最具影響力的單一行動或思維轉變是什么？

Elham Arshad：這一轉變將開啟其他一切可能：“將 AI 系統視為不可預測、以目標為導向的行為體，而非軟件組件；它能夠進行推理、適應環境，并表現出其設計者從未完全預料到的行為”。

AI 安全不在于追查漏洞，而在于約束行為、管理激勵機制，并防范數據、目標和上下文方面的故障，而不僅僅是代碼層面的問題。這種思維方式將安全策略從試圖阻斷受損輸入，轉變為通過沙箱技術、操作級的“零信任”機制、嚴格的能力控制以及持續的行為監控，主動防范危險行為。簡而言之，AI 安全不再主要側重于修復軟件，而是更多地關注對這一強大的數字行為體的監督與約束，使驗證、監督和遏制成為我們保障未來系統安全的核心舉措。

Sabri Allani：應樹立這樣的觀念： AI 系統既是軟件，也是決策實體。換言之，安全工作必須側重于控制行為和影響，而不僅僅是漏洞。具體來說，我們必須對工具和數據實施最小權限原則，要求能夠追溯輸出結果產生的原因（包括檢索記錄和工具執行日志），并像測試安全控制措施一樣，持續測試其行為。

Vijay Dilwale：拋開具體的工具和框架不談，安全工程師需要進行的最大思維轉變，就是從單純關注漏洞利用，轉向關注系統行為和風險遏制。在 AI 驅動的系統中，意外或“奇怪”的行為并非邊緣案例，而是運行模式的一部分。

例如，這不僅僅關乎模型是否會生成不恰當的響應，而是這種響應本身就可能帶來聲譽或法律風險。關鍵在于，當 AI 系統檢索到錯誤數據、誤解上下文，或者采取了技術上雖獲授權但在該情境下本不應采取的行動時，會發生什么。團隊能否迅速發現問題、查明原因，并在影響擴散之前將影響范圍控制在最低限度上？

目標并非追求完美或消除所有故障模式，而是為了在事情不可避免地出錯時，能夠具備韌性、可預見性和可控性。

Igor Maljkovic：安全工程師必須進行的最具影響力的轉變，就是從靜態的、基于假設的安全模式轉向對系統行為的持續驗證。在 AI 驅動的世界中，模型的行為具有概率性，會根據上下文改變行為，并且可能會產生工程師在設計時未能明確預料到的結果。

因此，安全措施不能再僅僅依賴于預定義的規則、固定的信任邊界或對確定性行為的預期。相反，工程師必須對機器生成的決策保持持續的懷疑態度，將 AI 視為一個必須對其行為進行監控、約束和質詢的“不可信協作者”，而非“可信組件”。這種轉變將決定未來幾年內有效的防御策略。

小 結

AI 深刻重塑了威脅格局以及安全工程師的工作方式。從保護靜態軟件轉向保障動態、自適應系統的安全，這標志著安全思維的一次重大演進。如今， AI 安全已經涵蓋代碼、基礎設施、數據源、模型行為及其相互作用。雖然傳統的安全框架依然有其價值，但需要加以改進，通過整合 AI 威脅建模和行為監控來應對新出現的挑戰。

隨著 AI 威脅的日益加劇，安全工程師的角色正從單純的“守門人”轉變為行為監視者。這種方法將 AI 系統視為難以預測的實體，需要持續的進行驗證和控制。安全工作的重點已經從固定的假設轉向持續的行為評估。這一轉變要求具備先進的工程技能以及基于研究的實用解決方案。

使用 AI 系統會帶來一些問題，例如更容易遭到黑客入侵，以及無法預知 AI 接下來會采取什么行動。要達到完美是不可能的；相反，韌性和快速響應才是有效防御的關鍵。行為穩定性、事件檢測速度等指標比傳統指標更為重要。

有一個新出現的攻擊類別特別值得關注：跨系統提示操縱。此類攻擊不同于針對單一系統的傳統攻擊。它們生成的輸入單獨看似乎無害，但當多個 AI 代理相互交互并共享信息時，就會造成危害。隨著 AI 相互之間的通信日益增多且監管不足，攻擊面將大幅擴大。未來的危害很可能并非源于某個具體的漏洞利用，而是源于自主性失調。當 AI 系統被賦予了超出其能力范圍的權限、集成能力或運營責任時，便會出現這種擴大了的攻擊面。

組織需要在監控工具方面進行投資。這些工具應該能發現跨越系統邊界的異常模式。組織還必須明確 AI 與 AI 交互過程中的責任歸屬。此外，至關重要的是對 AI 的輸出結果保持懷疑態度。要有這樣一種意識，這些輸出結果可能來自于存在缺陷、需要驗證的輸入數據，而非可信數據。只有將技術控制與謹慎監控相結合，組織才能在這個不斷變化的環境中蓬勃發展。

本文是“保障 AI 技術棧安全：從模型到生產”系列文章的一部分。本系列為你提供了邁向機器時代的路線圖，探討了如何通過分層防御、穩健的 MLOps 以及集成治理，將存在安全漏洞的原型轉變為具有韌性的系統。

https://www.infoq.com/articles/security-ai-threat-evolution/

聲明：本文由 InfoQ 翻譯，未經許可禁止轉載。