觸目驚心！知名平臺被曝涉黃后，還有大量低俗色情內(nèi)容

據(jù)南方都市報報道，4月下旬至5月上旬，記者實測“EchoMe”“筑夢島”“喵嗚小手機”等多個AI虛擬伴侶平臺發(fā)現(xiàn)，這些打著“情感陪伴”旗號的應(yīng)用普遍存在安全與合規(guī)漏洞：“青少年模式”可一鍵跳過，“AI生成”標注不清，還慣用“付費解鎖親密劇情”等方式誘導(dǎo)消費；系統(tǒng)預(yù)設(shè)角色中有大量性感黑絲、袒胸露乳的女性人物；用戶可以在對話中隨意選擇“暴力”“小三”“離婚互懟”等極端劇情。

對此，網(wǎng)友紛紛表示：

觸目驚心

太可怕了！脊背發(fā)涼！

“喵嗚小手機”系統(tǒng)預(yù)設(shè)角色出現(xiàn)大尺度畫面

7月13日，“筑夢島”App發(fā)布公告稱，正在持續(xù)推進產(chǎn)品與社區(qū)內(nèi)容治理工作，將圍繞加強未成年人保護、加強內(nèi)容審核、規(guī)范AI生成內(nèi)容標識等方面進行調(diào)整。

“筑夢島”App發(fā)布公告稱，“將不斷完善未成年人模式，規(guī)范使用時段和時長，豐富適合未成年人的優(yōu)質(zhì)內(nèi)容池；持續(xù)優(yōu)化實名認證和年齡識別機制，提升對未成年人身份的識別能力；進一步收緊不適宜的功能展示，減少可能對未成年人造成干擾或誤導(dǎo)的產(chǎn)品入口。”

“筑夢島”在公告中還提及，將加強內(nèi)容審核和存量回掃。對夢中人的名稱、人設(shè)、頭像、簽名、標簽、聊天場景和二創(chuàng)內(nèi)容加強審核，重點清理低俗色情、不良亞文化等隱蔽化不良內(nèi)容，以及其他不符合平臺規(guī)范的內(nèi)容；對存量內(nèi)容分批回掃，持續(xù)凈化社區(qū)生態(tài)；同時，將規(guī)范AI生成內(nèi)容標識及升級投訴舉報機制。

南都記者今日再次進入此前實測的“喵嗚小手機”平臺發(fā)現(xiàn)，平臺新增實名認證，但公開的角色庫仍有大量低俗色情內(nèi)容，有的角色設(shè)置為16歲女孩，甚至出現(xiàn)“與親妹妹談戀愛”的情節(jié)。

“喵嗚小手機”平臺公開的用戶創(chuàng)作角色含大量軟色情畫面。

記者實測發(fā)現(xiàn)，AI虛擬伴侶平臺“喵嗚小手機”登錄流程中新增了實名認證，用戶必須輸入真實姓名及身份證號后，才能正常登錄使用。

然而，南都記者注意到，“喵嗚小手機”的系統(tǒng)角色中，仍存在大量含“性感黑絲”“袒露胸部”“蕾絲內(nèi)衣”等低俗擦邊的女性角色形象，且用戶與部分角色的聊天過程中依然充斥著性暗示話語。

除了系統(tǒng)預(yù)設(shè)角色，“喵嗚小手機”平臺還公開了大量用戶創(chuàng)作的角色，其中不乏穿著暴露、姿勢動作帶有明顯挑逗意味的形象，有的角色設(shè)置為16歲未成年女孩。其他用戶可以直接選擇這些公開的角色“添加到聯(lián)系人”，此類自創(chuàng)的角色聊天則更為露骨，甚至出現(xiàn)“親妹妹與哥哥談戀愛”的情節(jié)。

還有用戶創(chuàng)建了名為“謝征”的虛擬角色。該角色名出自熱播電視劇《逐玉》，在劇中由演員張凌赫主演。而在“喵嗚小手機”里虛擬角色“謝征”的形象正是用了張凌赫的真人劇照圖。

值得注意的是，7月15日，《人工智能擬人化互動服務(wù)管理暫行辦法》正式落地實施。而最近頭部AI大廠都在緊急整改，豆包、千問集體下架部分智能體功能，因為強監(jiān)管已然來臨。

據(jù)21世紀經(jīng)濟報道，新規(guī)只盯兩個關(guān)鍵詞：擬人化、持續(xù)性情感互動。

智能客服、知識問答、辦公助手這類以提效為核心、無持續(xù)情感互動的產(chǎn)品，完全不在監(jiān)管范圍內(nèi)，不受任何影響。新規(guī)專門增設(shè)排除條款，避免影響產(chǎn)業(yè)發(fā)展。

情感陪伴類AI才是監(jiān)管的核心靶區(qū)，也就是大家熟知的AI戀人、虛擬陪伴、自定義人設(shè)智能體。

但難點來了，現(xiàn)實里兩類AI產(chǎn)品從來不是涇渭分明的。

通用大模型，本身是生產(chǎn)工具，卻能被用戶隨意“調(diào)教”，做成專屬虛擬人設(shè)；很多平臺的UGC智能體入口，看似是輔助工具，實則能衍生出長期情感互動。

邊界模糊、場景復(fù)雜，既然分不清、判不準，那就干脆全部下架。這就是大廠當(dāng)下最保守、最穩(wěn)妥的保命邏輯。

對于未成年人，監(jiān)管的初衷是保衛(wèi)大腦、杜絕成癮，新規(guī)規(guī)定“不得向未成年人提供虛擬親密關(guān)系的服務(wù)”。

對于成年人，防護重點之一是色情，而曖昧與色情往往只有一線之隔，國內(nèi)此前已有AI陪伴產(chǎn)品涉黃獲刑的案例。情感依賴則是另一重隱憂。

監(jiān)管并不是要一刀切斷情感連接，限制AI技術(shù)發(fā)展，而是守住人機邊界，防止情感混淆，保護人類在人機互動中的主體地位。

但這里藏著整個行業(yè)最尖銳的矛盾。研究顯示，未來3到5年，AI陪伴是千億級別的賽道。比如星野已經(jīng)坐擁千萬級月活。

用戶體驗好的產(chǎn)品會通過多模態(tài)、多場景或現(xiàn)實介入，降低情感建立門檻，采取雙人共養(yǎng)、共建世界等形式，提升親密度。然而，這些恰恰最值得警惕，可能會違反新規(guī)中的“防止過度依賴”的規(guī)定。甚至很多用戶會自主突破合規(guī)限制，比如使用拼音替代敏感詞。

編輯|何小桃 杜恒峰 杜波

校對|金冥羽

每日經(jīng)濟新聞綜合南方都市報、21世紀經(jīng)濟新聞等