王大可、周凱琳：表面擬真性與功能性信任：高校學(xué)生學(xué)術(shù)寫作中AI幻覺的識(shí)別機(jī)制研究

論壇

FORUM

表面擬真性與功能性信任：高校學(xué)生學(xué)術(shù)寫作中AI幻覺的識(shí)別機(jī)制研究

王大可1,2 周凱琳1

(1上海交通大學(xué)媒體與傳播學(xué)院;

2上海交通大學(xué)智能傳播研究院)

生成式人工智能正以前所未有的速度滲透到高校學(xué)生的學(xué)習(xí)與學(xué)術(shù)寫作過程中，從文獻(xiàn)檢索到論文撰寫，從數(shù)據(jù)分析到語(yǔ)言潤(rùn)色，AI已成為知識(shí)生產(chǎn)中不可忽視的參與者。然而，效率提升的背后潛藏著新的風(fēng)險(xiǎn)，AI幻覺便是其中之一。它指的是AI生成貌似合理連貫，但與用戶意圖、客觀事實(shí)或推理邏輯不一致的內(nèi)容。這一現(xiàn)象并非偶發(fā)的技術(shù)缺陷，而是源于大語(yǔ)言模型基于概率分布而非事實(shí)驗(yàn)證的底層運(yùn)行機(jī)制。高校學(xué)生作為AI寫作工具的高頻使用者，同時(shí)正處于學(xué)術(shù)規(guī)范養(yǎng)成期，領(lǐng)域知識(shí)相對(duì)有限，面臨更高的被誤導(dǎo)風(fēng)險(xiǎn)。現(xiàn)有研究多從技術(shù)層面探討幻覺的識(shí)別與治理，對(duì)用戶在真實(shí)情境中的識(shí)別過程缺乏系統(tǒng)考察。本研究正是從用戶視角切入，試圖回答三個(gè)核心問題。首先，AI幻覺在學(xué)生寫作任務(wù)中主要分布在哪些環(huán)節(jié)，呈現(xiàn)怎樣的特征。其次，用戶依靠哪些線索發(fā)現(xiàn)幻覺，采取了哪些驗(yàn)證策略，又受到哪些情境因素的制約。最后，面對(duì)AI的不確定性，用戶如何調(diào)整信任，形成了哪些人機(jī)協(xié)作模式。

為回答上述問題，研究采用事件導(dǎo)向型日記法，要求8名來(lái)自新聞傳播學(xué)、經(jīng)濟(jì)學(xué)、心理學(xué)、工程學(xué)等不同學(xué)科的本科生與研究生在真實(shí)學(xué)術(shù)任務(wù)中即時(shí)記錄其遭遇的AI幻覺事件，最終獲得56個(gè)有效事件記錄。數(shù)據(jù)收集歷時(shí)約7周，采用反思性主題分析法進(jìn)行分析。

研究發(fā)現(xiàn)，AI幻覺集中分布于對(duì)精確度要求較高的任務(wù)，其中文獻(xiàn)引用類占39.3%，數(shù)據(jù)處理類占25%，格式結(jié)構(gòu)類與代碼圖像類各占17.9%。其具體表現(xiàn)包括完整虛構(gòu)文獻(xiàn)條目、微妙篡改作者信息、虛構(gòu)權(quán)威數(shù)據(jù)來(lái)源、上下文記憶失效、代碼越改越錯(cuò)等多種形態(tài)。AI在面對(duì)信息缺失時(shí)表現(xiàn)出明顯的“填補(bǔ)”傾向，傾向于生成看似合理的答案而非承認(rèn)未知。

研究進(jìn)一步將AI幻覺的“表面擬真性”拆解為格式、數(shù)據(jù)、來(lái)源、邏輯、語(yǔ)言五個(gè)維度，這五個(gè)維度共同構(gòu)成了AI幻覺的“可信外殼”。用戶主要依靠形式異常作為初級(jí)警報(bào)，以內(nèi)容矛盾與邏輯斷裂作為深層防線，并通過數(shù)據(jù)庫(kù)查證、原文對(duì)照、交叉AI驗(yàn)證、教師確認(rèn)等多元策略加以核實(shí)。然而，識(shí)別效能受到知識(shí)盲區(qū)、時(shí)間壓力、認(rèn)知疲勞與任務(wù)重要性等情境因素的系統(tǒng)性制約。

面對(duì)AI輸出的不確定性，用戶并未形成對(duì)AI的整體性信任或不信任，而是發(fā)展出基于任務(wù)特征的“功能性信任”模式。該模式具有任務(wù)特異性、情境敏感性與動(dòng)態(tài)適應(yīng)性三個(gè)核心特征。在框架生成與創(chuàng)意激發(fā)類任務(wù)中信任度較高，在語(yǔ)言潤(rùn)色與格式整理類任務(wù)中保持中等信任，在事實(shí)核查與數(shù)據(jù)驗(yàn)證類任務(wù)中信任度最低。用戶由此形成分工協(xié)作、迭代優(yōu)化、信任但驗(yàn)證三種典型協(xié)作策略，將驗(yàn)證從信任缺失的標(biāo)志轉(zhuǎn)化為有效協(xié)作的結(jié)構(gòu)性要素。值得注意的是，信任下降并不必然導(dǎo)致使用減少，而是轉(zhuǎn)化為更審慎的使用方式，這一發(fā)現(xiàn)修正了“信任下降必然導(dǎo)致使用減少”的線性假設(shè)。

本研究的理論創(chuàng)新主要體現(xiàn)在三個(gè)層面。其一，從用戶視角出發(fā)提出“表面擬真性”概念并完成五維度拆解，揭示了AI幻覺最具欺騙性的特征恰恰在于其看似可靠的外觀，傳統(tǒng)基于可靠性外觀建立信任的機(jī)制在此失效。其二，提出“功能性信任”框架，超越了將信任簡(jiǎn)單二分為“信任”或“不信任”的傳統(tǒng)觀點(diǎn)，揭示用戶已將整體性信任評(píng)估轉(zhuǎn)變?yōu)椴町惢渲谩Ｆ淙沂掘?yàn)證行為的意義重構(gòu)，驗(yàn)證不再是信任缺失的標(biāo)志，而是內(nèi)化為人機(jī)協(xié)作的結(jié)構(gòu)性要素。

研究的實(shí)踐啟示亦體現(xiàn)在三個(gè)層面。在技術(shù)層面，AI系統(tǒng)應(yīng)增強(qiáng)不確定性表達(dá)，以置信度評(píng)分、來(lái)源標(biāo)注等方式取代統(tǒng)一的權(quán)威姿態(tài)。在教育層面，高校應(yīng)將AI幻覺識(shí)別納入學(xué)術(shù)寫作課程，重點(diǎn)教授基于形式線索的判斷方法與差異化信任意識(shí)。在規(guī)范層面，學(xué)術(shù)共同體可建立AI輔助寫作的透明化標(biāo)注機(jī)制，要求作者明確披露AI使用范圍并聲明已進(jìn)行人工核實(shí)。

總體而言，本研究為理解AI時(shí)代的知識(shí)生產(chǎn)與人機(jī)信任關(guān)系提供了一個(gè)初步的經(jīng)驗(yàn)視角。面對(duì)AI的錯(cuò)誤風(fēng)險(xiǎn)，用戶并非簡(jiǎn)單地拒用或放任，而是在差異化的信任配置與常態(tài)化的驗(yàn)證實(shí)踐中，主動(dòng)重構(gòu)著自身與AI的協(xié)作關(guān)系。

作者簡(jiǎn)介

王大可，上海交通大學(xué)媒體與傳播學(xué)院副研究員、上海交通大學(xué)智能傳播研究院研究員。研究方向?yàn)橹悄軅鞑ァ⒖萍紓鞑?

周凱琳，上海交通大學(xué)媒體與傳播學(xué)院碩士研究生。研究方向?yàn)橹悄軅鞑ァ⒖萍紓鞑ァ?/p>

項(xiàng)目資助

國(guó)家社科基金重大項(xiàng)目“5G時(shí)代新聞傳播的格局變遷與研究范式轉(zhuǎn)型”（21&ZD325）；上海市哲學(xué)社會(huì)科學(xué)規(guī)劃一般項(xiàng)目“人工智能傳播的‘雙智能’共振風(fēng)險(xiǎn)防范與‘人機(jī)共生’新生態(tài)規(guī)制研究”（2023BXW002）。