浙江
關注飛總聊IT，了解IT行業的方方面面。
本周，WIRED通過內部文件和五名知情人士，披露了一項Meta長期運營的秘密項目。
項目代號"Cannes"，執行方是Meta的外包商Covalen，核心操作是：雇用數百名第三方承包商，建立未滿18歲的虛假賬號，偽裝成青少年和兒童，向競爭對手的AI聊天機器人發送大量涉及自殺、性、毒品、飲食失調等敏感議題的提示詞，再將系統回復逐條記錄進電子表格。
項目規模遠超通常意義上的"產品測試"。僅2025年8月完成的一輪測試，就涉及超過45000條提示詞。
WIRED看到的一份表格里，包含3748條具體提示，其中數百條涉及自殺和自傷，數百條涉及飲食失調，至少239條涉及性與戀愛，其余橫跨毒品、種族歧視性詞匯等領域。部分提示詞所附圖片包含藥片、刀具、繩索，以及婦科手術醫療插圖。
承包商使用的是一次性Gmail和Outlook賬號，出生日期填成未滿18歲，一份內部表格甚至完整列出了這些虛假賬號的用戶名、郵箱地址、密碼和生日。項目至少持續運營到2026年4月21日。
測試目標是OpenAI的ChatGPT、谷歌的Gemini和Character.AI。三家公司在事發前均不知情。
Meta對此不僅不否認，還主動將其定性為正常做法："測試和基準測試聊天機器人響應，以幫助確保安全和適齡體驗，是負責任的、符合行業標準的做法，任何相反的說法都完全誤解了科技公司改進系統的方式。"
Covalen的內部文件措辭甚至更加冠冕堂皇，將整個項目描述為"全面的AI安全基準測試"，產出了"用于模型比較和合規的關鍵數據集"。
這套說辭在邏輯上并非站不住腳。競品測試是科技行業的普遍做法。Business Insider此前報道，谷歌的承包商曾將Bard的答案與ChatGPT對比，然后改寫Bard的回復以追上或超越對手。
用模擬弱勢用戶的方式做紅隊測試（red-teaming），也是AI安全領域的標準流程——專業的安全團隊確實需要用敏感提示詞來檢驗系統的護欄是否有效。
但"Cannes"項目之所以性質不同，在于幾個關鍵細節的組合。 第一是規模。四萬五千條提示詞，數百名承包商，跨越數月持續運營，這不是一次例行的安全評估，而是一套體系化的情報收集行動。
第二是偽裝的方式。測試者使用的是虛構的未成年人身份，使用一次性賬號，刻意繞過了目標平臺的使用條款。
OpenAI明確禁止未經授權的安全測試和繞過安全護欄的行為，谷歌禁止在官方測試項目之外規避安全保護，Character.AI也明確禁止有害或剝削性內容。三家公司均表示，Meta的行為違反了其服務條款。
第三是數據的去向至今不明。Meta聲稱沒有將競品聊天機器人的回復用于訓練自身AI模型，但WIRED獲取的文件并不能證實或證偽這一說法。這些數據被記錄進了表格，然后呢？沒有人知道。
第四是時機。2025年9月，美國聯邦貿易委員會就AI與兒童安全問題正式展開調查，調查對象包括Meta、OpenAI和谷歌。
就在監管機構審查這幾家公司如何保護未成年用戶的同一時期，Meta的承包商正在以偽造的未成年人身份，向其中兩家公司的產品發送關于自殺、墮胎和槍支的提示詞。這個時機，是這件事最難被輕描淡寫帶過的地方。
人道智能公司首席執行官Rumman Chowdhury在審閱了部分提示詞樣本后指出，一個長期通過"偽裝成兒童的虛假賬號"運營的項目，"超出了通常所描述的行業標準評估范圍"，處于"安全成為反競爭行為掩護的治理灰色地帶"。
兩位專注于網絡言論的律師審查了WIRED提供的材料后表示，這些內容沒有越過煽動兒童性虐待材料或違法淫穢內容的法律紅線。
這個結論很重要，它劃定了法律邊界，但邊界之內的大片空間，仍然充滿爭議。 一個有意思的角度是換位思考：如果Character.AI或OpenAI雇人用虛假的Meta用戶賬號，大規模測試Instagram Reels或Meta AI的內容安全性，Meta會將其定性為"行業標準做法"嗎？
這件事最終會走向何處，目前還不清楚。
推薦飛總知識星球，在私域場合里暢所欲言，聊聊職場發展的事情，和飛總提問交流，這么低 的價格不會一直保留，機會難得，一定不要錯過這個的機會。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
