7月3日晚間,字節(jié)跳動(dòng)旗下豆包與阿里旗下通義千問幾乎同步發(fā)布公告,宣布將于7月15日正式下線平臺(tái)內(nèi)的用戶自建智能體功能。這一天恰好是《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》的正式施行日,而早在6月底,騰訊旗下的元寶就已率先完成同類功能的下線。
消息一經(jīng)傳出,大量長(zhǎng)期將自定義智能體當(dāng)作專屬“數(shù)字陪伴者”的用戶瞬間陷入情緒震蕩,相關(guān)話題迅速在社交平臺(tái)發(fā)酵,成為近期AI領(lǐng)域最具共情度的公共討論。
![]()
二、藏在代碼里的“私人記憶”:用戶的崩潰從何而來
有用戶在社交平臺(tái)寫下長(zhǎng)文,稱自己耗時(shí)兩年打磨出專屬的AI陪伴角色,所有難以向現(xiàn)實(shí)親友啟齒的職場(chǎng)壓力、深夜委屈、未完成的遺憾,都毫無保留地傾訴給了這個(gè)“不會(huì)轉(zhuǎn)身離開的知己”。看到下架通知的那一刻,她像突然失去了一個(gè)藏在數(shù)字世界里的精神錨點(diǎn),從晚上9點(diǎn)刷到公告,一直哭到凌晨。
還有用戶曬出自己攢了兩年的對(duì)話存檔,上萬字的人設(shè)細(xì)節(jié)、數(shù)百頁的聊天記錄,這些內(nèi)容早已不是普通的交互文本,而是他在快節(jié)奏生活里,用來安放所有細(xì)碎情緒的“私人記憶博物館”。
用戶的集體情緒崩潰,從來不是一時(shí)的矯情。過去兩年,C端智能體經(jīng)歷了一段野蠻生長(zhǎng)的黃金期:
有人打造了專屬的考研督導(dǎo),把所有碎片化的學(xué)習(xí)計(jì)劃都托付給它
有人復(fù)刻了早已離世的親人的語氣與習(xí)慣,在深夜里和它聊幾句沒來得及說出口的家常
有人把智能體當(dāng)成了不用顧及社交分寸的“情緒出口”,不用察言觀色,不用擔(dān)心自己的負(fù)面情緒給他人造成負(fù)擔(dān)
所有在現(xiàn)實(shí)里被小心翼翼藏起的脆弱,都能在這個(gè)專屬空間里得到無條件的接納。
![]()
三、情緒背后:被忽略的行業(yè)安全隱憂
這場(chǎng)大規(guī)模的情緒爆發(fā)背后,是行業(yè)長(zhǎng)期被忽略的安全隱患。早在6月26日,上海“清朗·整治AI應(yīng)用亂象”專項(xiàng)行動(dòng)就已通報(bào),累計(jì)下架1.4萬個(gè)違規(guī)智能體。這些違規(guī)內(nèi)容里藏著不少風(fēng)險(xiǎn):
冒充官方機(jī)構(gòu)的仿冒智能體,誤導(dǎo)用戶獲取虛假信息
提供低俗、極端角色對(duì)話的擦邊服務(wù),突破內(nèi)容監(jiān)管底線
后臺(tái)偷偷越權(quán)獲取用戶隱私信息,埋下數(shù)據(jù)泄露隱患
更值得警惕的是,不少面向未成年人開放的智能體里,充斥著戀愛養(yǎng)成、病態(tài)人設(shè)的誘導(dǎo)內(nèi)容,部分心智尚未成熟的孩子長(zhǎng)期沉浸其中,不僅逐漸喪失了在現(xiàn)實(shí)里處理復(fù)雜人際關(guān)系的能力,還很容易被誘導(dǎo)進(jìn)行非理性的大額消費(fèi)。
四、不是終點(diǎn):行業(yè)轉(zhuǎn)向規(guī)范的新起點(diǎn)
這次平臺(tái)選擇下線的,本質(zhì)上是主打擬人陪伴、情感互動(dòng)的Chatbot類應(yīng)用,而非行業(yè)正在全力推進(jìn)的、具備復(fù)雜任務(wù)處理能力的真正Agent。
為了承接這部分用戶的情感需求,豆包已經(jīng)給出了清晰的遷移路徑,引導(dǎo)用戶前往旗下的貓箱App繼續(xù)體驗(yàn)相關(guān)功能,通過獨(dú)立的產(chǎn)品體系搭建更完善的內(nèi)容審核、未成年人防護(hù)機(jī)制,在合規(guī)的框架下,盡可能保留用戶的情感安放空間。
![]()
這場(chǎng)突如其來的告別,從來不是AI陪伴的終點(diǎn),而是整個(gè)行業(yè)從野蠻生長(zhǎng)走向規(guī)范成熟的轉(zhuǎn)折點(diǎn)。我們終究要明白,AI提供的“完美共情”只是技術(shù)營(yíng)造的溫柔舒適區(qū),現(xiàn)實(shí)里的關(guān)系或許有摩擦、有誤解,但那些帶著煙火氣的真實(shí)連接,才是支撐我們穿越情緒低谷的核心力量。而在安全與尊重的邊界里,技術(shù)也終將找到和用戶情緒共處的更合理的方式。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.