北京
中國社會科學報綜合報道近日，學術預印本開放獲取平臺arXiv發布了一項對250萬篇論文、1.11億條參考文獻的系統性審核結果，提出僅2025年，在arXiv、bioRxiv兩大預印本發布平臺、SSRN開放獲取平臺和PubMed Central數據庫中就存在近15萬條由人工智能編造的虛假參考文獻。這些虛假參考文獻嚴重威脅科研成果的可靠性和科學知識獲取的公平性。
研究人員表示，學術論文引用的資料應當是可靠的，每篇論文的參考文獻都應代表經過同行評議的堅實知識錨點。然而，隨著生成式人工智能工具在科學論文寫作中的普及，越來越多的讀者發現，部分論文引用的參考文獻可能根本不存在，甚至論文本身、研究數據乃至作者身份都可能是偽造的。他們在此次審核中發現了大量虛假文獻。這些虛假文獻并非來自少數學者，而是分散在大量不同的論文中，即每篇問題論文通常只包含少量虛假文獻條目。這也意味著存在一種更普遍的現象：人們使用人工智能輔助寫作時，沒有對其輸出的內容進行事實核查。
生成式人工智能工具非常擅長生成看起來合情合理、真實可信，但實際上完全虛假或錯誤的信息。這些生成式人工智能工具利用海量數據集進行訓練，學習各種模式，然后利用這些模式預測下一個詞并生成新的內容。因此，它們有時會根據模式創造而不是依賴實際事實來生成并輸出內容。這些根據模式創造出來的內容被稱為“幻覺內容”，它們不只出現在科學文獻中，也出現在政府工作報告、法律文件甚至知名媒體發布的新聞中。科學家此前曾研究過人工智能生成的幻覺內容，但大多數研究要么是在實驗室條件下進行的，要么僅限于小樣本或狹窄領域。幻覺內容（尤其是科學文獻中的幻覺內容）的實際規模及其產生的影響并沒有被真正系統性評估過。
通過對比生成式人工智能工具大規模普及前后的未匹配引用率，研究人員發現：虛假文獻引用在2024年年中之后出現急劇增長，這與人工智能輔助寫作的爆發期高度吻合；在處于職業生涯早期的科學家和小型研究團隊的論文中，虛假文獻引用的比例明顯更高。
研究人員還發現，當前的學術質量審查機制具有脆弱性。預印本審核、期刊編輯審稿和同行評議本應是虛假文獻審核的第一道防線，但數據顯示，他們只能發現極少量的虛假文獻引用。以arXiv為例，盡管在審核流程中已發現部分問題，但預計仍有78.8%的虛假引文成功通過審核并最終出現在平臺上。研究人員警告稱，幻覺內容正在大規模滲透進知識生產體系中。如果不加以干預，其后果將從誤導未來的科學發現，逐漸蔓延至影響政策制定和公眾對科學的信任等多個方面。
面對這一系統性風險，部分數據平臺已采取嚴厲措施。例如，arXiv規定：若有明確證據能夠證明，論文中存在來自生成式人工智能工具的幻覺內容，作者將被禁止投稿一年；期滿后重新投稿必須通過同行評議，且首次投稿需有擔保人。與此同時，平臺也在開發技術應對工具。但研究人員強調，根本的解決方案仍在于確立學者本身的核心責任。人工智能只能是輔助工具，學者對每一條引文的真實性負有審核責任。此外，期刊編輯、同行評議和平臺審核人員也需要通過系統性的培訓，提升識別虛假文獻的能力。在人工智能技術快速發展的背景下，守住知識真實性的底線，需要整個學術界的共同努力。
趙琪/編譯
來源：中國社會科學報
責任編輯：姚曉丹
新媒體編輯：程可心
如需交流可聯系我們
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
