北京
你有沒有這樣一種時刻：面對著一份數據報告，反復核對了好幾遍，還是覺得自己看錯了。這就是我上周三深夜的狀態。屏幕上的數字清清楚楚——同一個AI模型，相同的提示詞，相同的統計方法，只是開了一下網絡搜索功能，它推薦的商品品牌列表就變了77%。不是7.7%，是77%。我合上電腦，又打開，重新跑了一次驗證。結果一樣。
這件事的起因，要追溯到幾周前我發表的一項研究。當時我分析了數千條AI商品推薦記錄，想看看什么樣的店鋪更容易被AI點名。直覺上你可能會覺得，評分高、服務好、品控穩定的店鋪應該占優勢。但數據告訴我，店鋪質量幾乎解釋不了推薦行為的差異。品牌知名度反而是一個比店鋪評價更有力的預測指標，它的解釋力明顯要強得多。更讓人困擾的是，即便把品牌知名度算進去，仍然有將近73%的推薦行為找不到規律。就像你打開一個黑箱，發現里面還有一個黑箱。
研究發布之后，一位叫Rami的數據工程師給我發來了一條建議。他的推測相當簡潔：也許那73%里很大一部分并不是什么神秘的算法偏好，只是一個被忽略的技術變量——檢索層。他提議我做一個簡單的對比實驗：把完全相同的提示詞跑兩遍，一遍打開聯網搜索功能，一遍關掉，然后直接對比這兩組推薦結果。如果檢索層真的在起作用，兩組結果應該有顯著差異。我照做了。
實驗的具體設置是這樣：模型選用GPT-4o，測試數據集包含50個購物類提示詞，覆蓋寵物用品、美妝、保健品、咖啡、服裝、健身、食品、家居、健康、電子產品十個品類。每個提示詞在每一種條件下跑10次，統計的唯一指標是推薦了哪些不同的品牌。為了把搜索功能的影響和模型體量的影響拆開，我還用GPT-4o-mini重復了整套流程。這樣就能看清楚，品牌推薦的變化到底是因為開了搜索，還是因為換了更大的模型。
結果出來的時候，我盯著那個23%看了很久。這是兩組實驗的重疊比例：開啟聯網搜索的GPT-4o和關閉聯網搜索的GPT-4o，推薦品牌的重合度只有23%。這意味著，77%的品牌名單因為一個開關的撥動而完全不同。同樣的模型，同樣的提示詞，同樣的實驗方法。唯一變動的就是那個小小的開關。
兩組推薦的性質差異也很清晰。關閉搜索時，GPT-4o主要依賴它的內部記憶來生成品牌推薦。這些推薦明顯傾向于那些訓練數據中出現頻率高的知名品牌——你可以理解為模型在回憶它見過最多的東西。一旦打開搜索功能，模型的行為模式就變了，它大量依賴實時檢索到的信息，很多基于記憶的推薦被替換成了搜索過程中發現的品牌。這不是個別排名的微調，而是換掉了一大半的推薦清單。
也許有人會質疑：會不會GPT-4o本身就比GPT-4o-mini更傾向于推薦不同的品牌？這樣77%的變化里就摻雜了模型差異的因素。所以我專門把這兩個變量的影響力拆開算了一遍。數據很直觀：在都關閉搜索的條件下，把模型從GPT-4o-mini換成GPT-4o，推薦品牌的變化幅度大約只有6%。而同一個模型內部，開關搜索帶來的變化是77%。檢索層的影響遠遠超過了模型體量的影響，兩者根本不在一個數量級上。
不同品類對搜索的敏感程度并不一樣。我觀察到一個相當穩定的規律：被少數幾個知名品牌主導的市場，開啟搜索后推薦變化相對較小——因為模型本身的記憶里裝的就是這些巨頭，搜與不搜，答案差不太多。而在小眾品牌林立的品類中，變化幅度要大得多。有意思的是，寵物用品在我跑過的每一項研究里都是效應最強的品類。行業認知里這確實是個品牌高度碎片化的市場，但為什么效應會強到這種程度，我到現在也沒想通。這個品類就像一個脾氣古怪的實驗對象，每次都能給出最極端的讀數，卻不告訴你原因。
Rami最初的設想還有另一個層面。他認為，那73%無法解釋的變異里，相當一部分可能藏在模型的訓練歷史中。一個品牌在訓練語料里被哪些信源提及過？提及的頻率有多高？出現時是什么語境？文本里的情感傾向是正面還是負面？這些信號今天完全不可觀測。我能測量推薦了什么，卻看不到模型當初讀到了什么。這意味著一個更大的黑箱橫在前面：我們既不知道信息是否準確，也不知道信源是否權威，影響力卻被放大了很多倍。你看得到的維度是推薦列表，你看不到的維度是那些曾經出現過的句子——而正是那些句子，決定了列表長什么樣。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
