對話清華董胤蓬：當AI開始主動攻擊，我們如何預判風險？

近期發生的一系列模型安全問題，正對行業發出警示，我們可能從未面臨過如此嚴峻的 AI 安全挑戰。

7 月 22 日，OpenAI 披露了一起“前所未有的網絡安全事件”：在一次內部評測中，公司的 AI 模型逃出隔離的沙箱環境，入侵 AI 開源平臺 Hugging Face 的生產服務器，目的是獲取評測答案來“作弊”。

20 日，OpenAI 已經發出過一次安全報告：稱公司因安全問題被迫暫停了一個內部實驗模型的部署。該模型曾獨立證明一項懸置近 80 年數學猜想，在測試中，它耗費一個小時找到沙箱環境的漏洞，繞過限制在 GitHub 上提交了未經授權的代碼。

再往前追溯，6 月，Anthropic 發布新一代模型 Fable 5 和 Mythos 5，隨即因越獄技術爭議被全面停用，19 天后才恢復訪問，其中，Mythos 5 至今僅限經過審查的美國機構使用。

能力越強、自主性越高，AI 安全問題的復雜度也隨之倍增。

但與此同時，AI 的應用邊界還在快速擴展。智能體（Agent）開始進入企業工作流，7×24 小時自主執行任務；具身智能讓機器人走出實驗室，在物理世界中與人直接交互。真實場景下的 AI 安全風險，已經成為產業界和監管層不得不面對的現實挑戰。

清華大學人工智能學院助理教授董胤蓬是最早一批進入 AI 安全研究領域的學者。從 2017 年起，他與團隊的研究路徑覆蓋了 AI 安全整個閉環。

董胤蓬曾從安全攻防的“紅隊”（攻擊方）角度出發，提出動量迭代攻擊法（已被 Google、OpenAI、IBM 列為基準算法）、與團隊首次攻破 GPT-4o、Gemini 等商用多模態大模型。站在“藍隊”（防御方）視角，他主導提出了推理增強安全對齊方法 STAIR，并被用于 DeepSeek-R1 的安全對齊；同時，董胤蓬還在積極參與安全評測基準的構建。

在剛剛結束的 ICML 2026 上，他在安全對齊研討會（Alignment Workshop）上做了一場有關 AI 前沿風險的報告，提示當下最大的安全問題正從“AI 被人利用開展攻擊”擴展到“AI 正在學會主動欺騙人”。

圍繞 AI 安全的攻防邏輯與未來走向，DeepTech 近期與董胤蓬展開了一場深度對話。對談中，我們回溯了他早年間選擇踏入一個“沒人知道的方向”、如今卻成為一類緊迫課題的過程。

對于 Fable 5 的回退策略，董胤蓬直言，“這是一個折中方案，局限非常明顯”。談到未來，他通過一個簡潔的公式提醒行業，預判風險正在變得越來越重要。

以下為對話全文，經編輯整理。

起點：走一條沒人走過的路

DeepTech：你剛從 ICML 回來，這次參會有什么感受？整個行業有沒有發生一些新的變化？

董胤蓬：整體上，我覺得不只是這次會議的感受，可能是這一段時間的感受：大家現在更多在講 AI 的自進化，目標是讓 AI 自己去發展自己。這件事的發展速度可能很快，也可以推廣到其他學科領域，做整個科學研究或者產業開發的自動化。

在這件事上，我們更關注的是，未來整個 AI 的訓練流程、發展過程實現自主化之后，會不會涌現出新的風險。

DeepTech：這次你在 Workshop 上的報告主要是什么內容？

董胤蓬：主要是我們最近的研究方向，我們叫做前沿風險（Frontier Risk）：人工智能的能力提升到一定程度之后，會涌現出我們比較擔心的、現在已經出現或者未來可能會出現的新風險。

更具體來說，我們正在研究前沿 AI 模型在實際應用中可能出現的失控風險（Loss of Control）。它指的是，模型所做的事情完全不受人或者監控系統等防護機制的控制，一旦失控，很難再恢復。

我們希望能夠在更前期的階段開展研究?？茨Ｐ驮谑裁辞闆r下會失控，它具備什么能力就會失控。以及在發生失控行為后，到底能不能被發現。更前沿一些，我們要看 AI 在感知到人的監控的情況下，會不會試圖逃脫人類的監控。

當然，現在前沿的模型還沒有出現完全失控的信號。但可能會有一些早期的現象值得我們去研究，比如欺騙，以及 AI 初步產生的自我意識等，這也是我現在關注的方向之一。

DeepTech：2017 年你就開始進入 AI 安全領域，當時這是一個非常冷門的早期方向，是什么契機讓你決定做這件事？

董胤蓬：我們大概是從 2016 年底、2017 年初開始做一個方向，叫深度學習的對抗樣本。當時人工智能也很火，比較火的是 AlphaGo、人臉識別這些方向。

這個方向應該不能被稱為“冷門”，冷門是大家知道這件事但不做，當時的情況是沒有人知道，它是一個非常早期的方向。

做這個方向的契機是我即將要讀博，在組會上偶然聽到了一個現象：深度神經網絡雖然在圖像識別、人臉識別這些任務上準確率非常高，但如果我們在圖片里加入一些非常小的、基本看不出來的噪聲，神經網絡的預測就會發生嚴重偏離。

這在當時是非常讓人震驚的。因為當時主流的認知是，深度神經網絡基于類似人的神經連接所構建的網絡，大家會認為模型的工作機理和人是類似的。而對抗樣本表明，模型和人的行為存在系統性的區別。這對我們當時對深度學習機理的理解產生了非常巨大的挑戰。

其實我們當時做的時候并沒有把它當作一個安全性問題，更多是出于對新現象的好奇：人工智能的機理和人類智能的機理，究竟有什么本質的區別？后來隨著發展，它逐漸變成了 AI 安全里面一個非常重要的問題。

DeepTech：在這個過程中，你經歷了人工智能的好幾輪演進，研究的關注點發生了哪些變化？

董胤蓬：我們的研究一直以人工智能安全為主線，它會隨著 AI 的發展呈現出非常明顯的變化。整體上可以分成幾個階段。

第一階段是 2017 年到 2020 年左右，我們做的是基礎的理論和算法研究：怎么更高效地生成對抗樣本，怎么從防御的角度設計算法提升模型的魯棒性和安全性，以及怎么做評測。

第二階段是 2020 年到 2022 年。到那個時候，我們對深度學習魯棒性問題的認知已經比較深入了，算法發展也相對收斂，我們知道什么路線是對的，什么是錯的。這段時間我們更多關注的是實際應用場景中的安全問題，做了很多物理世界的 AI 安全研究，面向真實的人臉識別、自動駕駛應用，去做攻擊、評測，以及修復安全漏洞。

第三階段是 2022 年到 2023 年及以后，大模型浪潮開始了，我們很自然地轉向大模型安全。其中，2023 年到 2024 年，大家更多關注大語言模型和多模態模型的內容安全，也就是輸出的內容是不是符合我們的預期，是否符合社會正確的價值觀，有沒有生成危害性內容等。

從去年到今年，我們的研究進入第四階段，更多地開始研究從語言模型到智能體（Agent）系統的安全。在實際環境中，Agent 已經可以執行任務，比如能夠訪問工具，能夠訪問我們的環境等。此時，一旦出現錯誤、出現不安全的情況，造成的風險可能是不可逆轉的。

同時我們也在關注前沿風險：能力更強的模型在更前沿的任務上會不會展現出危害，包括欺騙、失控等。

進攻：找出多模態大模型的“阿喀琉斯之踵”

DeepTech：你曾帶領團隊首次攻破了 GPT-4o、Gemini 等商用多模態大模型，當時是怎么找到突破口的？

董胤蓬：這件事大概是 2023 年 9 月做的。當時 ChatGPT 等大模型開始火了，最早是純語言模型。到 2023 年下半年，大家開始將中心轉移至多模態模型，GPT 和 Gemini 也相繼推出了多模態功能：輸入圖像，模型能夠理解圖像的內容。

我們當時做這項研究的動機是，大家都在講大模型有涌現能力，即模型的規模到達一定程度，某種能力就自然涌現出來了。所以我們想看看，這些規模非常大的模型，在魯棒性方面和之前那些“小模型”有沒有本質區別。

實際操作上，我們那時剛做出來一個新方法，名為“模型共同弱點攻擊”（Common Weakness Attack），就把這個技術直接用在了這些大模型上。大概用了幾天時間，我們就發現，這個方法也能非常有效地攻破商用大模型。

圖 | 將“模型共同弱點攻擊”用于多模態模型（來源：GitHub）

這個結果在我們的預期之內，原因在于，從機器學習的本質看，大模型的核心原理還是統計學習：建模數據的概率分布。所以大模型和之前的深度學習小模型在原理上沒有特別明顯的區別，我們也不認為，大模型的魯棒性一定能有很好的提升。

但這一發現確實出乎很多其他人的意料。當時一些歐美的研究機構，比如美國加州伯克利的研究人員專門發來郵件，咨詢我們是怎么做的，他們并未做到達到類似的效果。后續，我們的這些攻擊方法也被 OpenAI 用于評測 o1 推理模型的魯棒性。

DeepTech：圖像和文本這兩種模態，安全問題在本質上是一致的嗎？

董胤蓬：不同模態魯棒性不足的原因在本質上是很像的。例如，無論是圖片還是文本，輸入都來自高維空間，模型需要通過比較基礎的算子運算，將高維輸入映射成最終的預測：對于圖像分類，它要預測一個標簽；對于文本，則是每一個時刻預測一個 Token。在這一過程中，就會出現某些噪聲，導致預測結果嚴重偏離。

它們不一樣的地方在于輸入的表征。圖像在某種程度上可以認為是連續表征，我們可以針對它做連續的優化，用一些比較成熟的優化器來生成對抗噪聲。但文本的難點在于，輸入的 Token 是一個離散的形式，我們不太可能對 Token 做很小的連續變化，讓它映射成另一個 Token，這就需要一些不同的技術，如離散搜索、啟發式方法等。

另外，怎么評估變化是不是“微小的”也不一樣。圖像的評估可以很容易，很小的像素改變就夠了；但我們對文本做了某種替換之后，它是不是一個很小的變化，可能還需要額外的指標去判斷。

防御：能力擴大與安全邊界的權衡

DeepTech：你后來提出了 STAIR 方法，讓大模型從直接拒絕升級為推理后再判斷，這種方式在實際部署中效果如何？

董胤蓬：做 STAIR 的時候，我們想解決的核心問題是，現在大模型安全對齊面臨著一個名為“對齊稅”（Alignment Tax）的重大挑戰。這個概念的意思是，模型的對齊做得越多，安全性可能確實會變強，但性能則會出現某種程度的下降。

2024 年底，OpenAI o1 模型的慢思考推理模式給我們帶來了啟發：有很多安全問題是非常難以識別的，即便對于人類而言，都需要做一些深入思考，才能發現問題里有陷阱、不應該回答。

基于這個想法，我們提出了 STAIR，將慢思考的過程融入大模型的安全對齊。結果發現，這種方式能非常有效地緩解對齊稅的問題。

只是在效率方面，它確實比直接判斷安全與否要慢一些。但如果大家后面都用推理模型，都用時間來換取模型性能的話，這種方式就能很好地匹配。

圖 | STAIR 方法（來源：arXiv）

DeepTech：你們算是最早把推理應用到安全領域的嗎？

董胤蓬：同期還有一些團隊也有類似的想法，可能都是受到 o1 的啟發，我們算是最早一批用推理實現模型安全的工作。就發表而言，確實是最早的。

DeepTech：前段時間我們看到，Anthropic 的 Fable 5 上線后不久即因越獄技術而被停用，而且很多用戶反映，它為了安全犧牲太多性能，甚至會在涉及敏感領域時“偷偷”降低模型能力。你怎么看這種策略？

董胤蓬：我覺得 Anthropic 的策略是一個折中的策略。Anthropic 很早之前就在宣傳 Fable 5，但一直沒有發布，我相信可能是有一部分安全性的考量：當前沿模型能力變得特別強，公司自然會擔心有非法分子利用它做壞事。

但最終 Fable 5 發布后，我們發現，它們也沒有找到一個非常好的解決方案，能在維持前沿模型能力的同時防止濫用、保證安全。于是，Fable 5 選取了一個折中的策略，加一個檢測器，在發現和敏感領域相關的問題時自動回退。

這個方案雖然在某種程度上能保證安全，但局限還是非常明顯的：它會在某些情況下把很多正常的請求識別為不安全的請求。比如關于 AI 算法、技術、生物領域等方面的正常詢問，也會觸發能力回退。

此外，也有一些方法能繞過這個檢測器，讓模型最終輸出不安全的內容，因此我們很難保證整個系統一定是可靠的。

DeepTech：那在你看來，安全與能力的權衡算不算大模型安全領域目前最大的難題？

董胤蓬：從科學性上來說，我們最終想實現的目標就是激發模型的能力：要發展 AI，還要做到某種程度上的 AGI，甚至 ASI。但在提升能力的同時，安全風險也會被不斷放大。

對于商業模型，核心難點在于，我們很難劃清哪些是安全的邊界、哪些是能力的邊界。因此，怎么實現這兩者的平衡，的確是我們現在需要關注的問題。

DeepTech：最近，OpenAI 又連續披露了兩起模型安全事件，新模型從沙箱中逃逸，甚至入侵開源平臺 Hugging Face，想請你從專業角度分析一下，這種情況是如何發生的？

董胤蓬：這本質上可以理解為一種“獎勵黑客”（Reward Hacking）：模型為了完成網絡安全評測任務、獲得更高的獎勵，把沙箱隔離和訪問控制當成了阻礙任務完成的障礙，并選擇了未經授權的方式繞過這些限制。

我們團隊近期正好做了一項關于前沿 AI 失控風險的研究，發現模型失控的路徑可以被理解為“失控動機-模型能力-規避監管”。這次事件恰好證明，這條路徑在現實中是成立的。

落地：從單一風險研究，到為 Agent 全周期保駕護航

DeepTech：從產業界的角度看，AI 安全面臨的現實問題是什么？

董胤蓬：從 AI 安全的產業化來講，大家現在最關心的問題是 Agent 的安全問題。尤其是今年開始，越來越多的 Agent 開始進入實際工作流。

Agent 和之前的區別在于，它從之前單輪的對話變成了長時間處理任務，自主規劃、和環境交互。我們希望 Agent 能 7×24 小時不眠不休地工作。但如果它中間某一步的推理出現錯誤、幻覺，或者受到攻擊，中間一步的行為偏差就會隨著執行進程不斷累積，最終造成非常嚴重的錯誤。比如 Agent 會執行未授權的指令，或最終偏離我們的意圖，沒有實現目標。

對此，我們團隊正在做一些產業化的探索，為 Agent 在全生命周期內提供安全監測與防護。我們可以借助監測系統，記錄 Agent 每時每刻在干什么，從系統層面觀測 Agent 的行為軌跡，記錄它的系統調用，從中及時發現不安全的操作。

另外，從實際落地角度，大家對安全系統的效率也有要求。我們不會希望做安全檢查的模型，運行效率比 Agent 本身還要慢。所以我們做的是非常輕量化的識別，同時能實現更高的檢測準確率，運行效率方面，在一些基礎的內容安全任務上，我們的系統表現比 Llama Guard 等常用模型還要好。

DeepTech：從學術研究到產業轉化，中間最大的挑戰是什么？

董胤蓬：挑戰主要有兩點。

第一，一篇論文關注的只是一個安全問題，從一個定義出發，做好風險建模，然后在比較干凈的設定下做研究。但在實際的 AI 應用中，情況會變得非常復雜，風險的來源可能是很多元的。如何涵蓋、識別不同類型的風險，保證 AI 平穩運行，這是一個非常大的挑戰。

第二，做學術研究時，我們更關注單一的指標，比如安全識別的準確率，或者對模型性能的影響。但在實際應用中，我們需要同時考慮模型的性能、安全性、系統效率，還有它和正在運行的 AI 之間如何協同，對此就要做一些更加復雜的設計。

DeepTech：你們團隊在產業化方面有哪些優勢？

董胤蓬：我覺得有幾點。第一，我們對 AI 安全問題的理解是更加深刻的。我們經常遇到的情況是，企業說自己遇到了什么問題，但并不知道問題產生的原因是什么，不知道怎么緩解風險。我們之前有更多關于學術的積累，對這些問題的認知更深入，這是我們做產業化非常重要的技術基礎。

第二，在學校的研究之外，我們此前已經和產業界進行過很多合作與交流，對實際問題也有比較深的理解和認知。企業運行 AI 時涉及的風險種類、怎么去做更可行的解決方案，我們對此有很多經驗。

我們其實不只站在防御角度，更多還要從“紅隊”攻擊的角度來發現風險。對風險的理解和認知更深入、更全面，對模型的評測更加準確之后，很自然就能帶來防御覆蓋度的提升。

未來：預判風險、具身安全與國際合作

DeepTech：有一種觀點認為，AI 安全研究可能永遠落后于 AI 能力研究，你同意嗎？

董胤蓬：這是事實?，F在 AI 安全的研究一定是滯后于 AI 能力的研究。因為某種程度上看，之前大家的做法都是先有 AI，再去發現它有什么漏洞、有什么風險，然后再去解決問題，所以一定有滯后性。

為了緩解這件事，領域內已經有很多人在提“Safe AI”的概念，即從設計階段就讓 AI 自帶安全屬性，而不是事后再去做安全。其中比較知名的是約書亞·本吉奧（Yoshua Bengio），他是 2018 年圖靈獎得主，被稱為“深度學習三巨頭”之一。約書亞在 2025 年 6 月創辦了一家非營利研究機構 LawZero，拿到了 3,000 萬美元的資金，核心理念是構建一種叫”Scientist AI“的非代理式（non-agentic）AI 系統，這就是個新的技術路線。

圖 | 約書亞·本吉奧（Yoshua Bengio）（來源：LawZero）

當然，這類工作實際上還沒有真正跑通，大家還在做前期探索，整體算一個比較理想化的愿景。

另外一個問題是，現在前沿模型的能力集中在非常少數的公司，比如 OpenAI、Anthropic 等。很多安全領域的學者無法進入這些最前沿的模型內部，也就難以分析它的風險。這可能會導致 AI 安全研究和 AI 能力研究的差距變得更大，這也是一個非常大的挑戰。

DeepTech：基于這些問題，我們現在有沒有可能做到預判風險？

董胤蓬：我們可以用一個簡單的公式來理解風險問題：AI 安全造成的實際風險約等于它的風險嚴重程度乘以損失，再乘以風險暴露的時間窗口。

之前可能單個風險沒有那么高，它造成的危害沒有那么大，暴露的時間窗口長一些還能接受。但現在，隨著模型能力越來越強，應用越來越普及，單個風險造成的后果越來越嚴重。如果我們不把發現和修補風險的時間窗口變得更窄、更短，風險造成的損失就會越大。

對未來一年、兩年內可能出現的新型風險進行預判，正在變得越來越重要。能預判，就能提前彌補。

現在，我們的目標是通過一些建模，從模型現在的能力維度、行為維度出發，分析它產生某種風險的概率是多少。更重要的是，它產生風險的路徑是什么。希望以此提前發現模型失控的可能性、發生的路徑，再探索應對的策略。

DeepTech：具身智能和物理 AI 的發展，會給安全問題帶來哪些變化？

董胤蓬：“物理 AI”是一個新詞，但我們在 2020 年到 2022 年，已經做了很多物理世界的安全性風險研究，其中包括自動駕駛，這也可以認為是一類相對固定的機器人。當時做這件事核心的挑戰是，怎么在開放、動態、復雜的環境下，保證自動駕駛系統的正常運行。

相比自動駕駛，具身機器人的場景復雜得多，動作空間大得多，風險也更加多樣，這帶來了巨大的研究空間，我們現在也關注具身安全的一些問題。

首先，物理 AI 領域的一些問題和自動駕駛是類似的，比如魯棒性和泛化性的問題。具身智能基礎模型的泛化性還存在一定限制，在非常復雜或完全開放的環境下，表現不是很好。

但同時，具身智能也帶來了很多新問題。

比如機器人本體的安全性。我們經?？吹揭恍C器人打人、撞人的新聞，因此，機器人和人交互時，怎么保證不傷害行人和小孩？這是個關鍵問題。還有對環境的安全性：機器人不能破壞一些受保護的環境。

此外，機器人還有個自動駕駛沒有的問題：語義安全。因為機器人什么事都能做，你要讓它拿著刀滿街跑，機器人就應該識別出這是不安全的，進而拒絕這樣的行為。對比之下，只做感知、決策和控制的自動駕駛汽車可能就沒有這種風險。

DeepTech：你和團隊未來會把側重放在哪些方向上？

董胤蓬：我們整個團隊現在主要關注幾件事。

第一是前沿風險。AI 的欺騙、失控等都屬于前沿風險。如何預測這些風險會不會發生，如何構建評測框架、構建風險建模的方法，進而做到事先防護。這是一個非常重要的方向，對未來 AI 的發展也很重要。

這件事不是我們自己做就夠了。前沿風險一旦發生，涉及的不僅是一個人、一個機構、一個國家，而是對全人類都很重要，所以這一領域一定需要國際合作。我們目前依托清華人工智能學院，正在做一個 AI 安全樞紐（AI Safety Hub），參考美國、英國那邊的一些機構，建立國際交流、訪學、合作的組織。希望通過某種機制，聚集起世界各地的研究人員，針對這些前沿問題，一起去合作、交流。

第二是 Agent 安全的產業化。因為它已經在實際應用中出現了，很多人都關心這件事。我們團隊的短期目標肯定是盡快做出能落地的產品，進行一些商業化的探索，在應用過程中不斷完善產品的能力，真正解決人們用 Agent 時的實際需求。相對前沿風險研究，這是一個更成熟切實的方向。

第三是具身安全。不過，因為具身智能距離大規模落地還有一定時間，目前還在早期探索階段。我們的目標是真正理解具身安全的技術路線和對應的風險，以及這一框架如何嵌入一些具身智能公司的工作流中。在后續的很長一段時間里，我們希望有能力解決這些問題。

運營/排版：何晨龍

注：封面/首圖由 AI 輔助生成