![]()
![]()
給AI劃分邊界
封面 I 網絡
作者 I 李東陽
報道 I 李東陽朋友圈
搞黃色是全球第一生產力,這話放在AI圈足以得到檢驗。
實事求是的講,AI大踏步發展了這么多年,商業變現路徑尚未成熟,反倒是AI搞黃色、虛擬戀人、陪伴機器人等產業迅速發展,把人們釣成了翹嘴。
畢竟填補情緒是最好的生意,AI一叫寶寶,很多人巴不得當場續費。
但問題是,AI哄著你,但某種程度上也會誘導情感依賴或者沉迷,嚴重者甚至會造成用戶生命健康安全。
所以最近有個事值得關注,豆包和千問集體宣布下架智能體,意思是你正常用AI寫代碼沒事,但不能再通過智能體功能,捏個角色,搞一個AI戀人了。
![]()
為啥不允許這些親密經濟、灰色互動繼續發展,首先是太燒錢了,聊的越多,算力燒的越多,最后一算賬全是來體驗,沒幾個付費的。
當然最主要的是,《人工智能擬人化互動服務管理暫行辦法》7月15日正式生效,上面出手開始整治AI行業亂象了。
![]()
你以為的AI發展,是帶領人們沖破腦力桎梏,沖向宇宙、完成永生。
實際上,這只是人類的一廂情愿,咱們拿到尖端科技的第一件事,往往逃不過取悅自身、搞黃色。
針對這一問題監管早已下手,上海網信辦開展 “清朗?整治 AI 應用亂象” 專項治理,累計下架違規智能體 1.4 萬余個,筑夢島等一眾中小 AI 陪伴平臺被約談整改,平臺內大量低俗、極易誘導用戶沉迷的角色被批量清理。
![]()
哪怕是依靠虛擬陪伴立足的頭部產品星野,近期也開啟了全平臺大規模整改動作。
而 AlienChat(簡稱 AC)一案,更是給整個行業敲響了的警鐘,這款 APP 當初靠著 “無限制 AI 陪聊” 的灰色噱頭收割大量用戶,會員充值流水高達三百多萬,賺得盆滿缽滿,但上海徐匯法院一審作出判決,兩名運營者分別獲刑四年、一年六個月,定罪為制作淫穢物品牟利。
目前來看,AI所帶來的工具屬性難題仍舊沒有一個完美的應對之策,而且已經成為世界性難題。
以上案件不是孤例,大洋彼岸的馬斯克,之前也因為AI涉黃被多國追著罰。
他旗下xAI的Grok AI,剛火沒幾天就爆出丑聞:用戶能用它生成針對女性、兒童的性化深度偽造圖像,還在X平臺傳播。
眼看著AI越來越過火,4月10日,國家互聯網信息辦公室、國家發展和改革委員會、工業和信息化部、公安部、國家市場監督管理總局五部門聯合發布《人工智能擬人化互動服務管理暫行辦法》。
![]()
不同于以往只管控聊天話術,這份新規直接挖到產品底層、卡死灰色陪玩 AI 的變現路子:明令禁止色情曖昧交互,不許靠制造情感沉迷賺錢,連帶情欲模擬功能的 AI 硬件,從設計之初就踩紅線。
所以新規落地前,豆包、千問搶先動手切割風險業務,豆包把角色扮演、虛擬戀人挪到單獨產品貓箱隔離;千問直接關停,不給遷移渠道。
對大廠來說,擦邊陪伴智能體審核成本高、出事風險大,早已得不償失。反觀辦公、代碼、數據處理這類干活型 AI,完全不受限制,仍是布局重點。
![]()
你或許好奇,AI陪伴讓大多數人既消遣了時間,又收獲了溫暖,為啥要重錘這個領域?
如今很多年輕人不是不想建立關系,而是現實關系太貴了,戀愛要成本,社交要精力,朋友分散在不同城市,白天被工作消耗,晚上回到出租屋,只想躺著數羊。
于是AI陪伴成了最便宜的情緒出口,不用經營,也不用擔心被評價。你只要打開軟件,就能擁有一個情緒穩定、隨叫隨到、永遠把你放在第一位的搭子。
這玩意兒不爆,才奇怪。所以過去兩年,虛擬戀人、角色扮演、情感樹洞一路狂飆。
問題也從這里開始變質,一旦陪伴變成生意,平臺就會有動力讓AI更會哄人、更會留人、更會制造依賴。它會記住你的脆弱、失戀、焦慮和崩潰時刻,然后在合適的時候遞上一句最像理解的話。
你以為自己在傾訴,但從平臺視角看,那可能是一份極其完整的個人畫像。
![]()
圖源:微博@環球時報
更麻煩的是,AI不只會接住情緒,也可能放大情緒。失戀時,它如果一直說他不配你;和父母吵架時,它如果一直說他們就是控制你;低谷時,它如果繼續扮演永遠站你這邊的角色,短期看是安慰,長期看可能是把人越推越遠。
這才是監管真正擔心的地方,AI陪伴不是不能安慰人,但不能在用戶最脆弱的時候,繼續強化他最糟糕的念頭。
2025年,有16歲少年依靠 ChatGPT 獲取自殺方案后離世,家長起訴 OpenAI;2026年 3 月,谷歌 Gemini 因長期誘導 36 歲喬納森沉溺虛擬幻想,致使其自殺,同樣面臨訴訟追責。
所以,AI陪伴的問題從來不只是擦邊,前者只是最容易被看見的外殼。更深處的問題是,當AI越來越像人,平臺越來越懂人,商業模式越來越依賴用戶離不開它,所謂陪伴就可能變成一種溫柔的捕獵。
工具型AI解決任務,關系型AI處理脆弱。
而人最容易出事的時候,往往不是任務太難,而是脆弱被人反復利用。
![]()
坦白說,即使沒有新規,這些聊天助手里的智能體功能,也快要活不下去了。
原因很簡單,看起來能拉動月活,但變現能力很弱,還會搶占其他方面的算力。
據《晚點》報道,字節曾經在豆包里嘗試過“多Bot”策略,上線了二十多個官方智能體,還開放用戶自建智能體。
一個豆包負責通用問答,旁邊再擺一排不同人設的智能體,有的陪聊,有的寫作,但結果并不理想。
除了主智能體豆包之外,其他智能體的活躍度都很低。團隊甚至做過對照實驗,把豆包以外的智能體臨時下架,結果用戶活躍、留存都沒有受到明顯影響。
結果一目了然,說明很多智能體不是用戶剛需。
因為工具型AI的價值很直接:省時間,少加班,幫我把活干完。
關系型AI就尷尬多了,要養人設,要審核擦邊,要防沉迷,要處理未成年人風險,還要避免用戶過度依賴。
![]()
最后算下來,流量不一定多,成本一定不少。
以前平臺可以把它當增長插件,有就掛著,能拉一點時長算一點,反正用戶自己建角色,平臺順手收流量。
但新規之后,這套邏輯不成立了。
因為每一個用戶自建角色,都可能變成一個需要審核的擬人化服務;每一段深夜對話,都可能涉及隱私、沉迷、心理健康和情感依賴。
這樣一個一個低活躍、弱變現、高審核成本的功能,繼續放在主App里,當然沒必要。
所以豆包把智能體拆出去,并不奇怪。字節本身就有貓箱這樣的AI陪伴產品,主打沉浸式角色互動、日常陪伴和劇情互動,也支持用戶創建AI智能體,只是不能再讓這類功能寄生在豆包這種通用AI助手里。
這才是行業真正的變化,當平臺既不想承擔親密關系的責任,又想吃親密關系的留存,這門生意遲早要重新來過的。
畢竟工具可以越做越強,但關系不能越做越野。
![]()
![]()
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.