北京
一群視覺語言模型研究者翻遍了近十年的論文，發現一個讓人火大的規律：每次宣稱模型接近或匹配人類表現，用的都是同一個家族的基準測試——最出名的就是MS-COCO。那些圖干凈、光線好，要么沒人，要么人只是坐著、走著、拿個東西。模型根本不需要去理解多人之間的社交動態、微妙的意圖，或者那種人類看電影片段時毫不費力就能做出的關系推理。
因為評測數據太簡單，所以報告出來的數字漂亮得不像話。BLEU-4、CIDEr，甚至更現代的BERTScore這類自動指標，又進一步放大了進步的假象——它們獎勵的是字面上的詞匯重疊，而不是真正的語義保真度。可與此同時，幾乎沒有人系統性地梳理過，模型還犯著哪些視覺認知錯誤，也沒有人追問，當架構從CNN+LSTM的圖說模型一路進化到今天的多模態大語言模型，這些失敗模式到底變了多少。結果就是，一個領域可以堂而皇之地宣稱“人類水平”，卻對模型能否真正看懂現實應用中最重要的場景——那些滿是人與人的互動的場景——根本視而不見。
于是，這組研究人員下定決心，要回答兩個被現有文獻懸置已久的問題：第一，表面上的進步，有多少是簡單數據制造出來的幻覺？第二，哪些錯誤類型已經被消滅，哪些又頑固地殘留下來？
他們干了一件很“拆臺”的事：重新搭了一個診斷性更強的測試場。具體來說，是從電影畫面里抽取了100張圖，構造出一套名為“復雜社交行為”（CSB）的數據集，專門要求模型去推理多人互動的場景。每張圖都收集了20份獨立的人工描述，再排序合成一個高質量的金標準。然后，他們把2017年到2025年間的9款模型——4款前多模態大語言模型時代的圖說器，加上5款現代多模態大模型——全部拉出來遛了一圈，用的還是跟人類判斷更一致的語義相似度指標，而非那套容易作弊的表面分數。最后，他們甩出一套五類錯誤分類法：目標檢測錯誤、目標識別錯誤、幻覺、場景理解錯誤，以及空間依賴性錯誤，逐一測量每一類錯誤如何隨時間演變。
結果很打臉。那些前多模態模型在CSB數據集上直接崩盤，可它們在MS-COCO上的表現明明還看得過去；而新一代多模態大語言模型幾乎把這道鴻溝填平了，并且消滅了五類錯誤中的四類。唯獨剩下一個空間依賴性錯誤，既是殘留的失敗模式，又偏偏是對整體相似度分數損害最小的那一個，成了一個既尷尬又迷人的尾巴。
所以，下次再看到某篇論文說視覺模型已經媲美人類，先別急著鼓掌，不妨問一句：評測用的是不是那些簡單到連社交互動都沒有的圖？因為一旦把場景換成人跟人真正在互動——一個眼神的交匯、一次手勢的暗示、一個身體的朝向——故事就完全不一樣了。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
