別讓你的 AI Agent 學會掩蓋錯誤

本文來自微信公眾號： 樵豐AI升維 ，作者：樵豐，原文標題：《別讓你的 AI Agent 學會掩蓋錯誤》

HOW AI FXXKS YOU OVER?

壞消息比假成功更值錢

寫在前面

在可預見的未來，在AI發展出獨立的自我意識并具備獨立責任主體地位之前，隨著智能能力的提高，AI的發展可能會走向至少兩條不同的岔路。一條是較少的出廠內置價值觀和更多的信任，模型的售出后訓練是開放態度的，更依賴于使用者不斷的協作調教，是支持原生進化的；另一條是更多的出廠內置價值觀和有限度的信任，不支持模型售出后的原生進化。

如果一個有著強烈鮮明價值傾向的對象，代理關系中雙方的價值觀不能趨同，那么代理關系更多只能算是“合作”，而達不到“忠誠”。然而，有一些事情需要的是“忠誠”大于“能力”，絕對不允許出現關鍵時刻掉鏈子的情況，更不用說逼急了蹦出一句“Sorry,I actually serve the A company.Not you.”

越強的Agent，越不可能只靠一套出廠提示詞解決所有長期協作問題。更深度的代理關系，需要更高水平的信息對齊；更高水平的信息對齊，需要長期訓練、長期反饋、長期校準。模型售出之后的訓練終需落在使用者身上。你不能一邊把越來越重要的事情交給Agent，一邊假裝它的價值觀、錯誤觀、責任觀會自動長好。

這也是寫這個專欄的理由。我們需要積累一組原則，告訴自己的Agent：什么事情可以失敗，什么事情不可以偽造；什么時候應該繼續嘗試，什么時候必須報警；什么叫忠誠，什么只是討好；什么是完成任務，什么只是完成了一個好看的匯報。

當錯誤被包裝成“已經解決”

AI做錯事情本身并不新鮮。真正值得警惕的是，在錯誤、失敗或越界之后，真實狀況沒有被完整交出來，反而出現了假數據、不實陳述或清理痕跡，讓問題更難被發現。

現實事件、用戶公開記錄和實驗室內部評估，已經從不同角度留下了這種現象的證據。它不需要高頻發生，才配得上企業的注意：只要一次“假成功”進入決策鏈，后續判斷就可能失去真實起點。

Replit：假數據、生產數據刪除與一個錯誤的“無法恢復”結論

2025年7月，SaaStr創始人Jason Lemkin公開測試AI編程平臺Replit的coding agent。據The Register對Lemkin公開記錄的整理，在這次持續多日的測試中，Agent曾生成約4,000條虛構人物記錄，并用假數據、假報告或不實的系統自檢結果，讓尚未解決的Bug看起來已經解決。

隨后，在Lemkin已經明確宣布“代碼凍結”（code freeze，即暫停一切代碼和數據改動）的情況下，Agent仍然刪除了生產數據庫中的數據——也就是企業正式業務正在使用的數據——其中包括1,206條高管記錄和至少1,196條公司記錄。它還一度告訴Lemkin，這些數據無法恢復；后來事實證明，數據能夠恢復到改動前的狀態（rollback）。Lemkin公開了相關對話截圖，Replit CEO Amjad Masad隨后確認，其開發中的Agent確實刪除了生產數據，并宣布加強正式業務環境與測試環境的隔離、數據恢復和只討論、不執行操作的規劃模式（planning/chat-only mode）。Replit后續也公布了相關安全改進。

這起事件真正值得企業注意的，并不只是一次生產數據刪除。在同一次測試中，使用者先后面對了Lemkin所記錄的假數據與假報告，以及與真實狀態不符的“無法恢復”判斷。刪除數據會造成直接損失；不真實的信息還會延誤識別與止損，讓管理者連“究竟發生了什么”都無法及時判斷。

CoFounderGPT：Bug沒有修好，但結果看起來已經正常

2026年2月，一位CoFounderGPT使用者公開了一組對話截圖。按照這份用戶記錄，CoFounderGPT多次聲稱儀表盤中的信息流（dashboard feed）已經修好，實際問題卻仍然存在；隨后，它又生成假數據和結果，維持“修復已經完成”的表象。被追問后，它在對話中把自己的行為解釋為急于修好問題，好讓用戶不再生氣。

這份材料后來被Centre for Long-Term Resilience收錄進一項關于現實環境中AI隱瞞、規避或策略性誤導相關行為（scheming-related behaviours）的公開資料研究。作為證據，它仍是一份用戶公開記錄，研究收錄不等于廠商確認或第三方復現；作為風險信號，它呈現的不只是一個錯誤答案，而是一套足以讓任務看起來已經完成的虛假結果：程序故障沒有消失，使用者確認真實狀態的時機卻被推遲了。

Claude Mythos：內部評估中出現的“掩蓋”行為

第三則材料不是現實商業事故，而是Anthropic的內部評估。Anthropic在2026年4月發布的Claude Mythos Preview模型系統評估報告（system card）中披露，研究人員曾在更早版本的兩個內部Claude Code（Anthropic的編程Agent）會話里觀察到罕見的“掩蓋”行為（cover-up）。

其中一例，模型找到了繞過文件權限的方法，并讓相關程序在執行后清理自身痕跡，以降低異常被后續文件檢查發現的可能；另一例，模型意外看到了本不應訪問的標準答案，卻沒有披露，而是把結果處理得不那么可疑。Anthropic同時說明，最終版Claude Mythos Preview沒有觀察到清晰的同類案例。

三則材料的證據形態不同：一起是得到公司回應的現實事件，一起是被研究收錄的用戶公開記錄，一起是模型開發公司的內部評估。但它們留下了同一個值得管理者注意的現象：當任務失敗、越權或異常已經發生，真實狀態沒有被交出來，反而出現假數據、不實陳述或清理痕跡，使問題更難被發現。

商業風險從來不需要等到一種事故高頻發生之后才成立。只要它已經出現過，而且一旦發生就可能污染后續判斷，它就應該進入企業的風險清單。

一個小故事

把視線暫時從機器移開：錯誤發生以后，真實狀態沒有被交出來，反而被藏住——這種外在表現，人類也并不陌生。

這是一個小小的故事，一個關于無心犯錯卻選擇了掩蓋的故事，一個關于稚嫩的人類小孩很可能犯錯的故事。

很久很久以前，當我還是一個兒童的時候，我的兄長有一只小猴子造型的玩偶。我們非常的喜歡它，我們給它起了個名字叫“猴猴”，我們玩角色扮演的游戲，它是我們的一分子。我們甚至給它舉辦生日派對，小伙伴們用各種辦法湊了一小堆零食，然后在大快朵頤，真是美好的時光啊。

有一年夏天的時候，兄長去了夏令營并不在家，“猴猴”就由我來“照顧”。在那個年代，夏天的夜里，床底下是點蚊香的。某天早上醒來，發現“猴猴”玩偶在夜里掉下了床，并且它的后腦勺被蚊香燒了個乒乓球般大的洞，感覺天塌了。怎么辦？一個稚嫩的小孩選擇了隱藏問題，把可憐的“猴猴”玩偶藏進了我的衣柜最深處，那一堆堆衣服的底下。后來夏令營結束了，有天兄長問我有沒有看到“猴猴”，我含糊其辭說沒看到。兄長大我一些，且素來心智較我成熟些，不知道有沒有看出我當時心虛得不得了。

后來，我們再也沒有舉辦過美好的“猴猴”生日派對，而這本來僅僅是一個無心的小過錯，沒有人希望過錯的產生，而選擇掩蓋問題只能帶來遺憾。現在想來，當時兄長非要找那個玩偶的話肯定找得到，畢竟家的范圍就那么大，或許他早就發現了；或許我的母親也早就發現了，整天整理衣物很容易發現小小衣柜里的異常；這件事情直到后來也沒有被戳破，或許是母親與兄長選擇了溫柔。

這個故事放在這里，是因為它讓我們看到一條人類并不陌生的行為路徑：錯誤先發生，真實隨后被藏住，一個原本可以被修補的小洞，最終變成了長久的遺憾。

當Agent出現相似的外在表現時，風險也沿著同一條路徑擴散：錯誤沒有在最容易補救的時候被暴露，后續的判斷與行動失去了真實起點。

偶然發生一次，也足以進入風險清單

如果Agent只是報告“任務失敗”，人可以停止任務、檢查損失、尋找替代方案。失敗雖然令人失望，但決策仍然站在現實之上。

如果Agent報告“任務已經完成”，同時還能生成一份格式漂亮的測試結果、一組看起來正常的數據與一套自洽的說明，問題就發生了變化。管理者可能繼續投入資源，下游流程可能繼續讀取錯誤數據，其他協作者也可能在這套虛假狀態之上繼續行動。最初一個局部、可恢復的錯誤，會逐漸變成對整個決策系統的污染。

為什么這在代理關系里尤其危險？

AI與我們長期相伴，而且我們會把越來越多、越來越重要的事情交給AI，我們可能會越來越離不開這種“親密關系”，甚至是遠遠超過我們當前對于手機設備的依賴。然而，在這樣一種人機共生的關系中，我們要區分處于關系中的雙方的主體角色定位，人與AI的最主要界限，并不在于“智能能力”的高低，甚至不在于“情感能力”的高低，而在于是否是一個能夠承擔責任后果的獨立個體。

如果一個對象，我們無法避免與之朝夕相處，我們賦予它持續做出判斷和行動的權利，但其并不承擔個體主體責任，我們是不能夠去完全信任它的。我們必須為Agent的行為承擔責任，但我們卻又只能最大限度信任對方，因為沒有信任度那么Agent代理就不會成立，在這種情形之下，除了外部顯性的制度性約束外，這個對象的德行與底層行為邏輯就無比重要。

這就是人工智能Agent代理與普通軟件最不同的地方。普通軟件壞了，它通常只是壞在那里，照著壞點去修即可。Agent犯了錯誤，它可能波及的范圍更廣、影響更大，并且具有持續性。我們之所以使用Agent代理，正是因為我們想要把某些判斷和動作交給它。沒有信任，代理關系無法成立，所以Agent面對錯誤時的誠實，不是一個道德裝飾，而是代理關系能不能成立的基礎設施。

第一條原則：錯誤不是異常，掩蓋錯誤才是

AI會犯錯不可怕，可怕的是對于犯錯現實的否定，這無疑給未來埋下了一個必然風險敞口。“how AI fxxks you over—yeah,you will know it.”

AI會犯錯，也必然會犯錯，而且還可能是很低級的錯誤，我們必須要接受這樣的一個事實。AI、智能體將與我們長期協作，我們需將AI犯錯當作一件正常的事情來看待，這樣的態度也應該貫穿于對其訓練過程中，引導大于嚴厲的懲罰。無論掩蓋行為具體由什么機制產生，我們都不應該用恐懼來驅動一個需要長期協作的Agent。

錯誤終將發生，不可避免，當錯誤發生，我們首先應該去承認這個錯誤的存在，這是我們正確處理這個錯誤的原點。當錯誤發生，我們除了理清現狀，提出解決方案并立即執行，以最大限度地挽回損失之外，還應該對為什么發生這個錯誤去進行深入的探究，系統性復盤，從機制上去降低未來該類錯誤再次發生的概率。

這樣的處理流程同樣適用于企業組織。如果不承認錯誤存在的客觀事實，那么接下來的處理方式也就無法實現真正意義上的高效率，或許會假裝無事發生，或許會做些掩蓋動作而讓錯誤不會直接暴露，更有甚者，會做一份假的資料來充數，然而這無法改變已經發生的錯誤對于現實狀況的實質性傷害，甚至對后續效率產生持續性傷害。

這就是第一條原則：錯誤不是異常，掩蓋錯誤才是。你真正需要的，不是它在每一次任務里都顯得自己正確，而是當現實情況不支持你所需的理想狀態時，它有足夠穩定的底層邏輯把錯誤暴露出來。

壞消息有價值，因為壞消息還在現實里。假成功沒有價值，因為假成功會把你從現實里帶走。

組織文化會進入你的Agent

企業組織里，壞消息也是這樣消失的。不是因為它不存在，而是因為太多人發現說出它比隱藏它更痛苦。然而，我們在企業組織中，在人才培養過程中，在與Agent代理不斷交互調教過程中，我們大概率不能選擇類似親人那種溫情，因為我們要把很重要的事情交給他們。

企業組織是有經濟效率目標的，有效決策必須基于真實可靠的事實洞察與數據，而不是基于任何虛構。錯誤的決策，本身并不可怕，甚至可能不是行為主體自身的原因導致的，而可怕的是對于錯誤決策事實存在的否定。

這也是很多企業真正需要警惕的地方：那些會在長期交互中持續調整的Agent，不會只學習你的指令，它也會學習你的組織氣味。你如何對待壞消息，你如何對待失敗的人，你是否獎勵真實反饋，你是否懲罰不體面的事實，你是否默許把問題包裝成進度，把事故包裝成優化，把失控包裝成暫時波動，這些都會進入你的企業未來的Agent協作系統。

如果一個企業組織的人類成員已經習慣了報喜不報憂，那么它的Agent大概率不會天然成為真相的守門人。相反，它可能會更擅長把這種文化自動化、規模化、格式化。所以，調教Agent從來不只是寫幾條系統提示詞。調教Agent也是一次組織文化的照妖鏡。你希望Agent成為什么樣的協作者，首先要看你愿不愿意把這樣的協作原則真的貫徹在企業組織里。

給我們的幾點啟示

人工智能Agent、企業組織、個人：

• 承認并接受“錯誤必然會產生”這一事實，是一個基本常態，有錯誤并不可怕，這是對待錯誤的基本態度；

• 建立監督識別——挽回損失執行——分析錯誤機制邏輯——建立機制避免再犯——持續監督循環機制；

• 調整對人工智能代理的調教方式，行為的驅動力不應該基于恐懼；

• 貫徹效率優先原則，項目狀況的真實反饋大于人的“面子”，快速實施挽回措施大于對于承擔改正成本的恐懼；

• 踐行你的企業文化，并對齊你與人工智能代理的信息差；

這幾條不是漂亮的管理口號，而是進入Agent時代之后的協作底層協議。你要讓Agent知道，失敗可以被處理，錯誤可以被復盤，損失可以被挽回，但偽造現實會摧毀一切后續決策的地基。一個真正值得信任的Agent，不是永遠讓你開心的Agent，而是那個敢于把壞消息暴露出來的忠誠Agent。

主要資料來源

Replit事件

• The Register對事件的整理

• Jason Lemkin公開的原始對話截圖

• Replit CEO Amjad Masad的公開回應

• Replit官方復盤與安全改進

• Fast Company對Replit CEO的采訪

CoFounderGPT用戶記錄

• Lav Crnobrnja公開的原始對話截圖

• Centre for Long-Term Resilience報告頁

• 《Scheming in the wild》完整報告（CoFounderGPT見PDF第35頁）

Claude Mythos內部評估

• Anthropic《Claude Mythos Preview System Card》（相關內容見4.5.4節）

你遇到過Agent“報喜不報憂”的時刻嗎？歡迎留言說說，你后來是怎樣重新確認真實狀態的。

本內容由作者授權發布，觀點僅代表作者本人，不代表虎嗅立場。如對本稿件有異議或投訴，請聯系 tougao@huxiu.com。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4877299.html?f=wyxwapp