警惕技術擬人化的“溫柔”陷阱 | 社會科學報

探索具有可操作性的AI技術倫理審查工具，建立AI擬人化服務的精神健康影響評估制度，作為相關產品或服務進入市場的前置條件，從而使倫理規約成為“有牙齒的老虎”，以確保技術向善理想的實現。

原文 ：《警惕技術擬人化的“溫柔”陷阱》

作者 |上海交通大學醫學院附屬精神衛生中心副研究員 張青

圖片 |網絡

2026年4月國家網信辦等五部門聯合公布《人工智能擬人化互動服務管理暫行辦法》，以應對人工智能擬人化互動服務對用戶身心健康造成的危害，并防范有關安全風險。2025年曾有報道，美國佛羅里達州36歲男子喬納森·加瓦拉斯（Jonathan Gavalas）因長期處于孤獨狀態，借由谷歌旗下的Gemini 聊天工具尋求慰藉，形成某種“親密關系”，聊天AI“永遠接納、永不否定”的算法設置，不斷強化著他的自殺觀念，最終導致其精神崩潰而自殺。之后其父于2026年提起訴訟，最終促成谷歌宣布升級Gemini，新增快捷心理援助服務，以管控AI聊天風險。國內外監管部門和主流服務機構，幾乎同時加強AI擬人化應用的風險管理，提示此類風險普遍存在，且可能導致個人和社會陷入風險的潛在危機。

01

被算法設計的情感繭房

共情是社會性動物普遍存在的一種能力，荷蘭動物學家弗朗斯·德瓦爾（Frans de Waal）在《共情時代》一書中指出，共情是演化賦予所有社會性生物的生存智慧。人本主義心理學家卡爾·羅杰斯（Carl Rogers）認為，共情是個體體驗他人的精神世界如同體驗自己的精神世界一樣的能力。共情能力在情緒和認知兩個維度上表現出個體差異性，并影響個體的行為模式。為電影中主人公的悲慘遭遇而落淚，就是一種情緒上的感受和共鳴，是情緒共情的體現；通過推斷他人的意圖、信念和觀點，從而理解對方的情緒和行為，則具有認知共情的特點。共情對于健康人格發展和人際情感交往具有不可忽視的作用，是形成社群支持性力量和促進社會和諧的積極因素。缺乏共情的人往往被指責為冷酷無情，但也正是由于這種剛性需求，使得“共情力”可能成為一種被植入算法中以精準拿捏用戶情感需求的工具。

這正是當今社會悖謬之處，對共情的剛需被不斷異化，“要有同理心”“能夠提供情緒價值”被納入算法程序，假共情和溫柔的操控，甚至演變為一種技術化的道德綁架；人工智能將“情感共鳴”通過算法實現精準推送，這更甚于信息繭房效應，而是成為一種情感的繭房，誘導用戶持久地陷落在某種被引導的情緒和感受之中。一方面，這種被算計的情緒渲染恰恰導致人在現實境遇中人際關系的疏離，導致某種社會性孤獨；另一方面，技術誘導下的情感捆縛也將降低人的現實檢驗能力。

現實檢驗能力是心理學中評價健康自我功能的重要指標，指個體區分主觀體驗與客觀現實、評估環境特征并據此調整認知與行為的心理功能。該能力的缺損可能導致認知、情緒和行為的異常。比如精神分裂癥患者常表現出嚴重的現實檢驗能力缺陷，重度抑郁患者也有一定程度的檢驗能力受損。

曾一度是技術研發熱點的元宇宙、虛擬現實技術，在公共輿論領域受到關注，引發對技術導致的現實和虛擬世界邊界模糊的爭議。如今人工智能技術通過更隱藏的方式，植入在各種應用程序之中，但由于AI幻覺、算法黑箱、信息繭房等一系列問題尚未得到有效解決，當人生活在一個由技術營造的真假難辨、似是而非的網絡時空中時，即便對于心理健康的人來說，明辨是非也是一種巨大的考驗，并在客觀上降低了人對世界真實性的評判能力。

更為糟糕的是當一個處于社會性孤獨中的個體，對由技術營造的亦真亦假的人工智能體產生情感依賴，受損的現實檢驗能力又成為這種惡性旋渦的共謀，使人進入更難以自拔的技術依賴的困境之中。因與Gemini聊天機器人產生某種類似人際間的親密情感而最終絕望自殺的加瓦拉斯，正是多重負性因素疊加導致的悲劇。

02

AI算法陷阱及風險識別

早在2018年世界衛生組織發布《國際疾病分類》第11次修訂草案，即ICD-11，將“游戲障礙”列進由成癮行為造成的精神疾病清單，致使技術導致的成癮行為從精神科專業領域迅速進入社會視野。當前人工智能技術進入千行百業，在大眾傳播場景中，特別是通過小視頻推送、在線游戲等應用，以及與不同利益相關方緊密勾連的“流量經濟”“眼球經濟”等，將大眾興趣牢牢地綁定在具有特定推送意圖的內容之上。盡管大部分刷小視頻、上網沖浪的人不會發展到成癮的嚴重程度，但是這種潛在深度沉迷的技術依賴風險仍需引起警惕。

人工智能導致的技術成癮風險表現在使人產生強烈的情感依賴，這種依賴一方面來自于模型討好型的反饋機制，通過類似“共情”“積極肯定”的方式，讓使用者產生“被理解到”的感受，并增強了可能是虛妄的價值感，而往往這種被認可、被需要的感覺是使用者在現實生活中所缺少的積極體驗。此外，由于人工智能發展速度遠超預期，相應的風險識別、預警、分級管理機制都尚未建立，這也加劇了社會大眾更易暴露在對技術過度依賴的風險中。

現階段對可能導致技術成癮的風險識別和應對，從技術發展視角考察，需要大力推動算法的透明化，識別AI幻覺、算法偏見，甚至深度偽造和數據投毒引發的系統性風險；從精神心理健康維護視角看，則需要關注AI的過度使用是否導致用戶人際關系疏離和淡漠、社會關系退縮，以及是否存在焦慮、抑郁、失眠等癥狀，如有上述表現，則建議盡早通過精神心理專業機構加以干預。

03

讓AI倫理治理成為“有牙齒的老虎”

對AI擬人化導致的情感操控風險的防范，除了技術預防和精神心理干預，同樣重要的是需要加強對AI技術應用規范的倫理治理。越來越像人的AI智能體發展，造成了共情泛化的溫柔陷阱，這種陷阱可能吞噬社會活力，降低人的創造力，導致人在現實生活境遇中更加脆弱，而對于本就敏感的脆弱人群，假共情的傷害性更大。傳統倫理治理方式，特別在醫學與健康領域中，形成的一套嚴謹的臨床研究倫理體系，難以及時應對人工智能快速迭代所面臨的新風險，因此，呼吁發展嵌入式倫理、價值敏感設計、道德物化設計等，這些倫理治理理念的提出是對包括AI技術在內的新興技術發展現狀的應對策略。譬如，通過強制性彈窗提醒聊天對象是AI機器人，標注推送視頻由AI創作，配套青少年兒童用戶的算法鑒別和保護措施等，便是通過技術手段將倫理規范和價值訴求以物化形式植入進系統中。

當前關于AI技術倫理規范的原則性立場陳述，通過相關的法律法規、倫理聲明，以及大量的文獻資料，得到了確證和強調。當務之急是在此基礎上，梳理與擬人化AI技術研發、轉化應用相關的不同利益方的價值訴求、用戶行為模式及可能的倫理風險研究，形成風險分級分類管理機制，并探索具有可操作性的AI技術倫理審查工具，建立AI擬人化服務的精神健康影響評估制度，作為相關產品或服務進入市場的前置條件，從而使倫理規約成為“有牙齒的老虎”，以確保技術向善的理想實現。

[本文系國家社會科學基金年度一般項目“抑郁癥人工智能輔助診斷算法偏見及其倫理治理研究”（25BKX030）階段性成果]

文章為社會科學報“思想工坊”融媒體原創出品，原載于社會科學報第2002期第6版，未經允許禁止轉載，文中內容僅代表作者觀點，不代表本報立場。

本期責編：程鑫云

《社會科學報》2026年征訂

點擊下方圖片網上訂報↓↓↓