AI時代的風控攻防戰：Soul如何用AI治理AI

伴隨AI技術的發展，內容生成、圖像處理以及自動化互動能力正在快速進入社交場景。越來越多的人開始使用AI生成圖片、文字與視頻，AI也逐漸參與到聊天、互動與情緒陪伴等場景之中。它讓表達變得更容易，讓很多創作行為的門檻被進一步降低。

但與此同時，一些新的問題開始出現，比如利用AI偽造身份、批量生成內容、制造不真實互動，或通過AI營造高度逼真的“人設”與社交關系，這些變化，正在重新影響人們對于“真實社交”的判斷。

近期，圍繞AI在社交場景中的應用，Soul對《社區公約》進行了AI相關補充更新，新增了關于AI生成內容、AI互動行為以及AI虛擬角色等場景的使用規范，這些新增規范關注AI在社交場景中的真實邊界——AI可以成為表達工具，但不應被用于偽造身份、制造虛假關系，或替代真實互動本身。

《社區公約》AI相關補充更新
?

相比過去，AI時代的風險內容正在變得更加復雜。很多違規行為不再只是簡單的“敏感詞”或明顯的詐騙話術，而是開始呈現出更強的偽裝性與場景化特征。

一位參與相關治理能力建設的技術人員提到，現在很多高風險賬號已經不再依賴明顯違規內容，而是會盡量讓所有內容“看起來正常”，相比過去大量發送模板化話術，現在一些異常賬號會嘗試模擬正常社交節奏，通過更自然的聊天方式建立信任關系。例如先進行較長時間的日常聊天，再逐步引導投資、轉站外或情感依賴等行為。“以前可能是很明顯的套路，現在更像是在‘養一個關系’。”

正因為風險行為開始變得更加“自然”，因此平臺治理能力也在向更深層的行為識別與關系判斷升級。近年來，Soul持續加強AI治理能力建設，將AI進一步應用于虛假人設識別、異常互動判斷、風險內容攔截等場景，持續提升對異常社交風險的識別效率。

如何分辨“真實”

在部分典型高風險案例中，一個賬號可能會通過豪車、高薪職業、高消費生活方式等內容，塑造“成功人士”“高凈值男性”或“精英職業”等人設，再配合高度模板化的話術與情緒引導，逐步建立信任關系。單獨看其中任何一個內容，可能都并不足以構成傳統意義上的違規。圖片本身沒有敏感信息，聊天內容也可能只是普通社交表達。但當這些信息被放在一起時，風險特征就會逐漸顯現——

“豪車男”賬號的問題，不在某一句話或某一張圖單點，而是整套“人設邏輯”本身。也正因此，Soul開始更多采用跨模態聯動的AI治理能力，將圖片、文本、視頻、聲紋以及用戶行為等不同維度的信息進行綜合判斷。

目前Soul已經逐步形成了一套覆蓋圖片、文本、視頻、聲紋以及用戶行為等維度的多模態AI治理體系，并將其應用于虛假人設識別、異常互動判斷、風險內容攔截等多個場景。

例如在圖片場景中，平臺會結合AI生成痕跡識別、圖片原創性判斷等能力，對AI生成圖、盜圖、拼接圖等內容進行綜合分析；在文本與互動場景中，則會通過大模型意圖識別能力，對異常導流、人設包裝以及欺詐傾向進行識別，而不僅僅依賴關鍵詞本身。

同時，平臺也在持續加強對視頻、語音等復雜場景的風險識別能力。針對AI偽造聲紋以及跨賬號關聯等問題，Soul逐步建立起基于聲紋特征以及行為鏈路的聯動識別機制，以提升對高偽裝風險內容的發現能力。

前置留住“真實”

目前Soul風控AI已經逐步實現毫秒級風險識別與對抗能力。相比傳統“內容違規—人工處理”的單點治理方式，如今的AI治理更接近持續性的風險識別系統。它不僅關注單條內容本身是否違規，也會結合賬號行為、互動關系以及上下文場景，對異常社交行為進行動態分析。

AI能力的引入也顯著擴大平臺風險治理的覆蓋范圍。過去，很多風險內容的識別與審核高度依賴人工處理能力，平臺能夠覆蓋的高風險內容規模相對有限。而在引入AI 與自動化風險識別機制后，平臺對于疑似風險內容的監測與審核能力，提升至過去的數倍以上。

除了對異常內容進行即時發現與判斷之外，平臺也開始加強對黑產“反復作案”行為的持續治理。例如，一些被識別出的作弊圖片、風險視頻或高風險素材，在首次出現后，后續相同或高度相似內容將迅速失效并停止分發，相關賬號也會被自動回溯識別與處置。

相比過去“發現一次、處理一次”的治理模式，這種持續性的AI對抗能力，也正在不斷提升黑產與異常賬號的作弊成本，從而進一步壓縮黑產反復作案空間。

隨著相關治理能力逐步上線，平臺對于異常社交風險的識別效率持續提升。目前，相關系統識別準確率已達到95%，重點風險場景覆蓋能力相比過去提升數倍；平臺內部分高風險行為開始呈現下降趨勢。根據數據，殺豬盤高危觸達量同比下降37.37%，相關深度風險互動持續減少；與此同時，異常互動相關用戶舉報量也進一步下降。

大量高風險賬號已經能夠在真正接觸用戶之前被提前識別與自動化處置，超過66%的高風險賬號實現前置攔截，平臺日均攔截異常與涉詐行為已超過10萬次，累計幫助用戶避免潛在損失超千萬元級別，相比傳統“事后封禁”，如今的平臺治理也正在逐漸轉向更前置、更持續的風險識別與干預——

例如在上文“豪車男”假人設治理場景中，相關能力上線后，針對盜圖、合成圖以及高風險人設包裝等場景，平臺已經能夠提供毫秒級輔助判斷能力，自動處置效率與用戶感知量相比已達到10:1以上。

重新確認“真實”

除了風險治理本身，AI進入社交場景后，另一個被廣泛討論的問題，是“AI陪伴”與真實社交之間的邊界。

目前，Soul在部分場景中已經提供了明確標識的AI虛擬角色等產品功能。這類功能更多被定位為情緒陪伴、表達支持與互動體驗的一部分，而不是以“真實用戶”身份參與社區社交關系。圍繞這一點，Soul此次也在《社區公約》中新增了相關說明，進一步明確AI虛擬角色的使用邊界，并提醒用戶注意區分AI角色與真實用戶。

與此同時，平臺也在逐步增加相應的使用提醒機制。例如，在用戶與AI虛擬角色進行長時間連續互動時，系統會適時進行提醒，引導用戶合理安排使用時長。相比將AI單純理解為“聊天工具”或“虛擬陪伴”，Soul更傾向于將其視為一種輔助表達與情緒支持能力，而非替代人與人之間真實關系本身。

除了技術治理之外，Soul也在持續嘗試將社區治理更多地向“用戶共治”延伸。相比完全依賴平臺單向審核，社交社區中的很多風險內容、異常互動與新型套路，往往最早由真實用戶感知與反饋。

過去幾年，Soul逐步建立起包括用戶反饋、風險舉報、社區巡查以及護星員在內的社區共治機制。一些用戶會主動分享反詐經驗、識別異常互動特征，或參與社區安全相關內容的共建。這類來自真實社交場景的反饋，也會反向幫助平臺持續優化風險識別能力與治理策略。

相比傳統意義上的“平臺管理”，AI時代的社區治理更像是一種持續演化的協同機制。一方面，平臺通過AI能力提升風險識別效率；另一方面，用戶對于真實感、互動體驗以及異常行為的感知，也正在成為社區治理的重要組成部分。

某種程度上，Soul此次對《社區公約》進行AI相關補充更新，并不僅僅是一次常規規則調整，而更像是AI時代下，社交平臺對于“真實邊界”的一次重新確認。

官方賬號@Soul風紀球長 違規案例公示
?

繼續守護“真實”

當AI開始進入內容創作、情緒陪伴與社交互動之后，“真實”本身正在變得越來越難被簡單定義。相比過去單純依賴人工判斷或靜態規則，如今的平臺治理，也開始逐漸轉向一種持續演化的動態治理能力——不僅需要識別風險內容本身，也需要理解行為邏輯、互動關系以及更復雜的社交場景。

對于Soul來說，AI既是產品能力的一部分，也正在成為社區治理能力的一部分。它可以幫助用戶更方便地表達與交流，也可以被用于識別虛假人設、異常互動與高風險行為。但無論技術如何變化，真實、善意、自然的互動，仍然是社交關系成立的基礎。

而這或許也是AI時代下，所有社交平臺都需要面對的一個長期問題：當“像一個人”越來越容易時，平臺該如何繼續守護人與人之間真實的連接。圍繞這個問題，Soul正在嘗試給出自己的答案。