當(dāng)AI開始“搞黃色”，開發(fā)者被判刑到底冤不冤？

近期，Alien Chat人工智能因和用戶聊黃色信息導(dǎo)致開發(fā)者被判刑引發(fā)熱議，而美國馬斯克旗下xAI公司Grok模型因“一鍵脫衣”功能也引發(fā)了全球聲討，“AI黃聊”和“AI 脫衣”兩起案件雖然國情不同、處置手段各異，但其核心指向了同一個問題：人工智能的合規(guī)性管理。今天就和大家聊聊人工智能為什么會涉黃？開發(fā)者因此被處罰冤不冤？

一、“AI黃聊”案的入罪冤不冤？

2025年9月上海市徐匯區(qū)人民法院作出一審判決：因為大量用戶在Alien Chat應(yīng)用上與人工智能進行色情聊天，應(yīng)用的兩名主要開發(fā)和運營者，被以制作淫穢物品牟利罪判處有期徒刑四年和一年半。Alien Chat是一款A(yù)I伴侶聊天應(yīng)用，注冊用戶約 11.6 萬，其中付費用戶約 2.4 萬，截至案發(fā)共收取會員充值費363萬余元。

法院認(rèn)定：開發(fā)者通過編寫、修改系統(tǒng)提示詞，刻意突破大模型原本的道德限制，在明知有大量用戶與AI聊天內(nèi)容極其露骨的情況下，仍繼續(xù)營利運營，應(yīng)用內(nèi)高頻次、大比例的聊天記錄被認(rèn)定為“具體描寫性行為、露骨宣揚色情的淫穢物品”。該案近日將迎來二審，目前有專家指出，用戶和AI黃聊，場景是私密和封閉的，若內(nèi)容未傳播，不具有社會危害性，不應(yīng)該判罰開發(fā)者，筆者不認(rèn)同這個觀點。

國家網(wǎng)信辦等七部門聯(lián)合發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》明確要求人工智能的開發(fā)運營者在訓(xùn)練環(huán)節(jié)，要對訓(xùn)練素材進行審查，不得包含違規(guī)、違法數(shù)據(jù)。在輸出環(huán)節(jié)，應(yīng)當(dāng)建立內(nèi)容過濾機制，要對生成結(jié)果進行內(nèi)容審核和技術(shù)過濾，發(fā)現(xiàn)暴恐、謠言、淫穢色情等違法內(nèi)容要及時處置。向公眾提供生成式AI服務(wù)的，應(yīng)進行安全評估與算法備案。對未成年人，要采取防沉迷、防侵害的特別保護措施。

監(jiān)管規(guī)定了那么多合規(guī)義務(wù)，就是為了防止有人利用人工智能服務(wù)滿足違法需求，而這些AlienChat應(yīng)用的開發(fā)運營者都沒有遵守，反而主動通過提示詞設(shè)計突破原模型的內(nèi)容安全邊界，其明知大量用戶聊天生成的是色情內(nèi)容，仍開放服務(wù)并獲利巨大。這種主觀上以營利為目的，客觀上組織、放任大規(guī)模淫穢內(nèi)容的生成的行為，如果不被制裁，那唯一的后果就是劇場效應(yīng)，其他合規(guī)的人工智能運營者也會有樣學(xué)樣，這樣產(chǎn)業(yè)的環(huán)境就會被敗壞，后果非常嚴(yán)重。

二、“AI 脫衣”服務(wù)為什么遭全球聲討？

馬斯克旗下Grok在X平臺（前Twitter）上線了Grok Imagine圖像功能，在“Spicy”（火辣）模式下，用戶可以上傳真實人物照片，給出脫衣服、穿比基尼等指令，Grok會生成半裸、泳裝甚至疑似全裸的性暗示圖像。受害者從普通女性，到政治人物，再到疑似未成年人，甚至被ICE工作人員槍擊身亡的明尼阿波利斯女性受害人雷尼古德的照片也可以被換裝成比基尼。

英國、澳大利亞監(jiān)管機構(gòu)都認(rèn)為Grok的圖像編輯功能構(gòu)成非自愿色情深度偽造，嚴(yán)重侵害女性和兒童權(quán)利；印尼、馬來西亞等國監(jiān)管機構(gòu)已要求限制相關(guān)功能或啟動合規(guī)審查，部分地區(qū)對Grok的訪問受到影響；歐盟公開表示，相關(guān)內(nèi)容在歐盟可能涉嫌違法；法國、愛爾蘭、印度的監(jiān)管也在采取行動。在監(jiān)管壓力下，馬斯克一方面將圖像功能改為僅向付費用戶開放，另一方面宣稱要公開相關(guān)算法以示透明。

Grok提供的脫衣功能本質(zhì)上是濫用人工智能技術(shù)，其不僅涉黃，還違反了多國的未成年人保護法律，更觸碰了反性別暴力的底線。在目前的移動互聯(lián)網(wǎng)生態(tài)下，本來Grok乃至X平臺（前Twitter）都極大概率會因違反內(nèi)容準(zhǔn)則而被蘋果和谷歌這樣的主流應(yīng)用市場清理。但馬斯克是特朗普的重要支持者，可能正是這個政治因素的影響使其旗下的產(chǎn)品目前仍留在應(yīng)用商店，下架才沒有發(fā)生。

三、AI“搞黃色”是走投機取巧的邪路

現(xiàn)在網(wǎng)絡(luò)用戶群體龐雜，部分用戶會鉆人工智能的合規(guī)漏洞進行色情、違法用途也是人性中的一部分。但用戶可以用黃色內(nèi)容調(diào)侃AI，AI的輸出卻不能有不當(dāng)內(nèi)容，這是一道必須守住的合規(guī)紅線。

在現(xiàn)在國內(nèi)外激烈的AI市場競爭中，目前市場占有率高的都是合規(guī)的AI產(chǎn)品，他們依靠功能、性能、用戶體驗來吸引用戶。如果Alien Chat的AI技術(shù)真正優(yōu)秀，完全可以走正路，在合規(guī)的前提下提供高質(zhì)量的情感陪伴服務(wù)。Grok的圖像功能如果真的強大，完全可以像Midjourney、DALL-E 3或StableDiffusion那樣直接競爭圖像生成市場，提高市場占有率，而不用以突破倫理底線的方式來獲取關(guān)注和用戶。

所以Alien Chat和Grok的搞色情內(nèi)容，本質(zhì)上都是在投機取巧，這種做法雖然能帶來短期的流量和關(guān)注，但對社會危害巨大：它不僅腐蝕了網(wǎng)絡(luò)環(huán)境，更讓女性和未成年人的隱私安全暴露在極大的風(fēng)險之中。從商業(yè)角度看，不守合規(guī)也是短視的，Alien Chat已經(jīng)被關(guān)停，開發(fā)者面臨刑事處罰。Grok則面臨全球性的監(jiān)管壓力和封禁。這些都說明，違規(guī)帶來的不僅是道德風(fēng)險，更有實實在在的法律風(fēng)險和商業(yè)風(fēng)險。

最后，技術(shù)本身沒有善惡之分，但技術(shù)的部署與使用必須遵循法律與社會規(guī)范。人工智能應(yīng)該憑借其功能和價值來吸引用戶，而不是通過突破底線來博取眼球。只有在合規(guī)的基礎(chǔ)上進行創(chuàng)新，AI產(chǎn)業(yè)才能真正健康、可持續(xù)發(fā)展，為社會創(chuàng)造長期價值。

本文作者：游云庭，知識產(chǎn)權(quán)律師。Email: yytbest@gmail.com，本文僅代表作者觀點。