OneReason：當推薦系統(tǒng)學會思考

機器之心發(fā)布

推薦系統(tǒng)的過去十年，本質(zhì)是把 "用戶 - 物料" 的統(tǒng)計共現(xiàn)挖到極致 —— 從協(xié)同過濾、深度模型，到生成式 OneRec 系列，每一代都在讓 "記憶" 更精細、參數(shù)更大、序列更長，也讓 Scaling 這件事在工業(yè)級推薦系統(tǒng)上跑通，持續(xù)釋放算力紅利。但走到 LLM 時代，我們發(fā)現(xiàn)：純把 "統(tǒng)計" 做大已經(jīng)在多個方向上撞到了硬墻—— 冷啟用戶、長尾物料推不準、跨域遷移做不好、多目標多業(yè)務的策略組合靠權(quán)重調(diào)參越來越難往前推。

同一時期的基礎(chǔ)大模型領(lǐng)域，主旋律從 Scaling，Reasoning 再到 Agentic—— 智能的高度與維度被持續(xù)重定義：從 "知道多少"，走向 "想得對不對"，再到 "能不能把事情做好"。OpenAI o1、DeepSeek R1 已經(jīng)把 "先思考再回答" 做成共識范式，讓模型在數(shù)學、代碼、agent 任務上獲得跨代的能力躍遷。這條主軸并非 LLM 專屬 —— 推薦系統(tǒng)過去十年靠 Scaling 拿到的紅利，下一階段同樣需要 Reasoning 來釋放新的增長曲線。

但 Reasoning 在推薦里不是 LLM 范式的簡單復制—— 它要回答的是推薦系統(tǒng)自己的三個本質(zhì)問題：

(1) 推薦天然是 "溯因"，不是模式匹配。用戶行為是 "果"，潛在意圖是 "因"—— 從嘈雜、跨域、跨時段的行為序列里反推某個具體物料 "為什么適合此刻"，本質(zhì)是溯因推理。統(tǒng)計模型記得住 "看過 A 的人也看 B"，但回答不了用戶多跳因果鏈；尤其在冷啟用戶、新物料、長尾品類、跨域遷移這些行為信號天然稀疏的場景里。

(2) 推薦從 "黑盒打分" 變成 "可解釋、可干預的認知過程"，業(yè)務杠桿顯著放大。一個會推理的基模，把過去藏在權(quán)重里的決策過程顯式寫在 CoT 里，直接讓推理鏈直接讀出 "為什么推這條"，讓業(yè)務約束直接可以寫在推理層，讓策略迭代節(jié)奏從周級降到天級；讓新業(yè)務接入也不再需要為每個域從零搭召回排序棧，一個懂物料語義的基模 + 一段業(yè)務說明即可跨域出方案。

(3) Reasoning 是 Agentic RecSys 的前置地基。推薦的下一站，是從 "千人一面的固定流水線" 走向 "千人千策、能規(guī)劃、能用工具、能多輪對話" 的 Agentic 推薦系統(tǒng)。規(guī)劃、工具調(diào)用、長程對話推薦這些能力的前提，都需要一個懂物料語義、有推理能力、能穩(wěn)定指令遵循的基模在底層托住。

正是基于以上三點判斷，快手技術(shù)團隊推出OneReason—— 把 Reasoning 真正注入推薦基模的一次系統(tǒng)性嘗試。其核心改進點包括：(1) 578B 數(shù)據(jù)的三階段預訓練，分層遞進地完成推薦與通識知識的語義對齊；(2) 設(shè)計基于歸納 / 溯因 / 演繹的推薦 CoT 格式，在 SFT 階段教會模型推薦任務的思維邏輯；(3) 通過 "先專后合" 的強化學習鏈路平衡多業(yè)務推薦能力，使 CoT 真正輔助推薦決策。

在評測與部署上，OneReason 同時驗證了 Reasoning 在推薦里的真實價值：

• 業(yè)務上—— 在快手本地生活廣告 10 天 A/B 實驗中帶來+10.33% 曝光、+8.23% 廣告收入、ROI > 5，對應年化數(shù)億元商業(yè)增量；
• 推薦 Benchmark 評測上——OneReason首次在推薦基礎(chǔ)模型上讓 thinking 模式穩(wěn)定超過 non-thinking 模式。在此之前，多個公開嘗試（OneRec-Think、OpenOneRec）都觀察到 thinking 反而 hurts 的反常識現(xiàn)象；OneReason 在 Pass@4 上 thinking 平均領(lǐng)先 non-thinking+13.45%，把 "思考" 在推薦基模上第一次變成正資產(chǎn)；
• 通識能力上——MMLU-pro、GPQA-Diamond 等評估基本保留 Qwen3-8B 原始水平，沒有因為推薦訓練把基座的通用認知和指令遵循能力訓壞。

在 LLM 已經(jīng)把 Scaling-Reasoning-Agentic 這條主軸走到第三步的同時，OneReason 把推薦域的 "Reasoning" 補上了關(guān)鍵一步 —— 通過物料語義與通識語義的深度對齊，把推薦過程轉(zhuǎn)化為一種可解釋、可干預、可進化的認知過程，使推薦背后的邏輯不再是黑盒，也為原生 ReAct 范式的 Agentic RecSys 打下基礎(chǔ)。

• OneReason 技術(shù)報告：https://arxiv.org/abs/2606.06260
• HuggingFace：https://huggingface.co/OpenOneRec/OneReason-0.8B-pretrain

一、背景

在生成式推薦方向上，OneRec 系列模型驗證了 Scaling Law 在推薦系統(tǒng)中也依然成立，并通過 OneRec V1、OneRec V2 持續(xù)釋放算力紅利，推動模型能力提升。而后 LLM 時代，模型能力的進一步躍遷不再僅依賴規(guī)模擴展，Scaling 與 Reasoning 的協(xié)同正在成為新的關(guān)鍵路徑。但在工業(yè)推薦場景中，OneRec 團隊此前嘗試過一些初步探索（如 OneRec-Think、OpenOneRec），發(fā)現(xiàn)直接引入這一范式并未帶來預期收益：在推薦任務上，thinking 模式并不穩(wěn)定優(yōu)于 non-thinking 模式，這一現(xiàn)象與 LLM/MLLM 的直覺完全相反。這表明推薦基模與通用基礎(chǔ)大模型在任務目標、信息結(jié)構(gòu)和能力形成機制上存在顯著差異，簡單疊加 CoT 并不能自然轉(zhuǎn)化為推薦效果的提升。

因此，“推薦 CoT 應該怎么做” 成為生成式推薦繼續(xù)發(fā)展過程中必須迎面的挑戰(zhàn)。針對于這一問題，OneRec 團隊交出了他們最新答卷 --OneReason：在工業(yè)級推薦場景分析了推薦推理失效的根因，并提出一套覆蓋感知對齊、認知結(jié)構(gòu)化與 CoT 能力增強的完整實驗流程，為生成式推薦領(lǐng)域的技術(shù)體系打開了新的探索空間，也為行業(yè)理解和構(gòu)建面向推薦場景的推理能力提供了重要參考。

二、推薦 CoT 應該怎么做？

在回答這個問題之前，OneReason 先將視角切換到基礎(chǔ)大模型領(lǐng)域，參考在多模態(tài)領(lǐng)域 Thinking 弱于 Non-Thinking 的類似現(xiàn)象，以及社區(qū)積累的解決經(jīng)驗。針對這一現(xiàn)象，基礎(chǔ)模型領(lǐng)域結(jié)論為：推理能力的形成并不只取決于是否引入 CoT，更依賴兩個基礎(chǔ)條件：

1. 模態(tài)或表示空間之間需要建立深度語義對齊。若對齊不足，模型容易停留在表層模式匹配，難以真正圍繞深層語義信息展開推理。
2. 推理鏈本身需要具備清晰、連貫、由粗到細的認知結(jié)構(gòu)。即使模型具備一定感知能力，如果推理過程缺少穩(wěn)定的組織方式，長鏈推理也容易引入噪聲并累積誤差。

類似的，在推薦場景上，以上兩個問題變得更加顯著和突出：

1. 推薦基模中的 itemic token 與自然語言之間尚未形成足夠深的語義連接，模型更多是將 item 作為離散標識符進行關(guān)聯(lián)預測，而不是把它作為可理解、可組合、可推理的語義單元；
2. 直接混合大量通用 Reasoning 數(shù)據(jù)，沿用通用 LLM 的 CoT 形式，期待模型完全通過泛化能力實現(xiàn)推薦任務的推理，卻沒有針對推薦任務設(shè)計專屬的推理結(jié)構(gòu)，導致難以得到有推薦思維的邏輯鏈。

更進一步看，推薦推理與數(shù)學推理在問題形態(tài)上存在根本差異。數(shù)學推理通常是演繹式的：從明確前提出發(fā)，經(jīng)過一系列邏輯步驟推導出相對確定的結(jié)論。而推薦推理更接近溯因推理：用戶興趣并不直接可見，模型需要從長期、嘈雜且不斷變化的行為序列中反推出潛在興趣，理解興趣隨時間的演化，并判斷某個候選物品為何適合當前上下文。因此，一條有效的推薦 CoT 不是簡單地 “展開更多的思考”，而是要完成高質(zhì)量的信息壓縮：從噪聲行為中提取有效信號，從歷史行為中假設(shè)用戶興趣，再從興趣假設(shè)中收斂到推薦決策。因此，推薦基礎(chǔ)模型需要至少具備以下幾方面能力：

• R0 感知：看懂每個 itemic pattern，解釋每個物料含義，讓 item 可總結(jié)為興趣點
• R1 推導：學習 Item2Item 關(guān)系，通過常識知識，理解 item 關(guān)聯(lián)背后的原因
• R2 演進：學習用戶序列長期演化過程，找到影響用戶未來決策的原因和潛在興趣點
• R3 推薦：根據(jù)興趣點推理，推薦高質(zhì)量、高相關(guān)物料，且有跨域推薦能力

基于上述思考，OneReason 形成了一套面向推薦推理的系統(tǒng)性解法，下面將按預訓練、SFT、RL 三個階段分別展開：

三、預訓練設(shè)計

OneReason 預訓練旨在構(gòu)建一個實現(xiàn) item 與自然語言深度語義對齊的推薦基座。推薦場景中的 itemic token 不只是離散物品表示，還承載著子 token 組合、物料內(nèi)容、物料關(guān)系以及用戶行為上下文等多層語義。為此，預訓練階段首先設(shè)計了 Token、Item、Relational、User 四層遞進式數(shù)據(jù)架構(gòu)，總規(guī)模達 578B token，并配合三階段分步訓練策略：先穩(wěn)定新增 item 表征，再進行全參數(shù)語義對齊，最后面向長用戶行為序列進行優(yōu)化。該方案解決了前代 OpenOneRec 系列因 item-text 語義割裂導致 CoT 推理低效的根本痛點，從預訓練層面夯實了推薦推理落地的基礎(chǔ)。

四級分層預訓練數(shù)據(jù)搭配通用多源語料，實現(xiàn) Item 與自然語言全維度語義對齊

整套推薦預訓練數(shù)據(jù)從微觀到宏觀劃分為四大粒度，逐級打通物品標識與文本的語義關(guān)聯(lián)：

1. Token 粒度：圍繞子 Token 拆解與組合邏輯，設(shè)計單 Token 釋義、前綴語義預測及部分到整體的層級推理等任務，在最細顆粒度完成子單元語義綁定；
2. Item 粒度：對物料描述進行容量感知的粗粒化處理，過濾三個 token 無法承載的冗余細節(jié)與無效參數(shù)，配套多視角 Item QA 樣本，實現(xiàn)單品內(nèi)容與文本的雙向精準映射；
3. Relational 粒度：依托用戶看后搜、協(xié)同過濾及跨用戶同窗共現(xiàn)等多源信號，構(gòu)造 “物品→興趣說明文本→后續(xù)物品” 的鏈路數(shù)據(jù)，將隱式協(xié)同偏好翻譯為可解釋的文本遷移邏輯；
4. User 粒度：采用分域分組、全時序穿插兩種數(shù)據(jù)范式，按真實時間串聯(lián)跨域行為記錄，并隨機將部分 Item 替換為文本描述，實現(xiàn)全場景用戶興趣對齊。

在推薦專項數(shù)據(jù)之外，混合大量數(shù)理、代碼、科普等通用文本，并精選粗粒度多模態(tài)數(shù)據(jù)，將通用視覺知識遷移復用至短視頻、商品、直播等各類推薦物料，有效規(guī)避模型因?qū)９ネ扑]任務而造成的通用理解能力下滑與任務過擬合。

三階段分步訓練

在整個預訓練階段，全量 Token 數(shù)合計 578B token，相對 OpenOneRec 160B 的數(shù)據(jù)量大幅提升：

1. 預熱（110B）：凍結(jié)主干，僅優(yōu)化新增 item 嵌入及對應輸出層權(quán)重，讓 item 表征平穩(wěn)融入 LLM 語義空間；
2. 全參訓練（449B）：全參數(shù)開放，四層數(shù)據(jù)聯(lián)合深度對齊；
3. 長序列優(yōu)化（19B）：上下文窗口放開至 32K，適配長用戶行為序列。

在預訓練數(shù)據(jù)層面，相比 OpenOneRec 基線，OneReason 在各方面能力全面躍升。具體來說，在統(tǒng)一數(shù)據(jù)量的實驗條件下，OneReason 預訓練方案相對 OpenOneRec 基線模型實現(xiàn)全面提升：

• R0 物品錨定漲幅 160.5%，物品理解提升 35.7%，基礎(chǔ)感知能力實現(xiàn)全方位突破；
• R3 核心跨域推薦指標提升 65.1%。

整套預訓練體系為后續(xù)結(jié)構(gòu)化 CoT 微調(diào)和推理式推薦上線提供了堅實的語義底座，也是思考型推薦實現(xiàn)業(yè)務增收的關(guān)鍵前置支撐。

四、SFT 設(shè)計

預訓練完成后，模型已經(jīng)具備 itemic token 的語義基礎(chǔ)。然而，推薦場景下的 SFT 不能等同于普通問答式指令微調(diào)。它面對的是長序列用戶行為、跨場景物料、隱式的興趣變化，以及最終落到候選物品選擇的決策問題。基于此，OneReason 的 SFT 階段向上承接預訓練建立的物料語義，向下為強化學習提供一個可探索、可評價的推薦推理起點。該階段的核心目標是：讓模型基于物料語義來推斷物料間關(guān)系、抽象用戶興趣并理解其演進過程，最終將這些信息組織成面向推薦決策的 reasoning trace。

圍繞上述目標，SFT 階段的重點是推理表達：讓模型在真實推薦場景中學會有效引用上述語義證據(jù)，并生成可監(jiān)督、可校驗、可追溯的推理過程。具體而言，基于預訓練的強大的對齊能力，SFT 數(shù)據(jù)將能力升級為貼近推薦落地的監(jiān)督信號，使模型逐步習得可解釋的推薦推理。數(shù)據(jù)分布如表 1 所示。

表 1：SFT 數(shù)據(jù)分布。

R3 推薦 CoT：把長歷史壓縮成可決策的推理鏈

在推薦系統(tǒng)建模中，首先需要解決兩大核心問題：一是對用戶歷史做高效壓縮，讓模型能從冗長、存在噪聲的用戶行為中，提煉出清晰的用戶畫像與緊湊的興趣變化模式，使后續(xù)推理能夠立足于壓縮后的少量候選方向，避免受到冗雜行為歷史的干擾；二是實現(xiàn)精準的動態(tài)推理，讓模型具備關(guān)聯(lián)物品、追蹤興趣變化、判斷下一步行為的能力。圍繞這兩個目標，OneReason 將 R3 思維鏈（CoT）顯式拆解為三個連貫的模塊：Persona Abstraction（用戶抽象）、Interest Expansion（興趣發(fā)散）、Transition Inference（興趣推斷）。

Persona Abstraction (用戶抽象)： 在這一階段中，OneReason 事先定義了 20 類不同的用戶偏好類型，Persona Abstraction 會從稀疏、包含噪聲的行為里抽象出可解釋的偏好先驗（如家庭生活主導用戶、游戲技巧提升、直播購物愛好者、多人共用設(shè)備用戶等），并引用典型證據(jù)進行推斷。表 2 給出了若干畫像示例。

表 2：Persona Abstraction 的典型畫像示例。

Interest Expansion (興趣發(fā)散): 為了避免模型過早對用戶意圖做出單一判斷，OneReason 在推理鏈路中設(shè)計了 Interest Expansion（興趣發(fā)散） 環(huán)節(jié)，將用戶近期的行為軌跡轉(zhuǎn)化為一組候選的興趣假設(shè)。針對發(fā)散寬度 n 的消融實驗展示了一個有趣的“少即是多”現(xiàn)象：當 n 保持在 1、3、5 的緊湊范圍時，模型表現(xiàn)最佳；而一旦擴大到 10 或 20，效果反而大幅衰減。OneReason 認為這種現(xiàn)象的本質(zhì)在于 “推理信號的聚焦”：過大的候選集會引入低置信度的冗余興趣，從而模糊了用戶真正的核心興趣，干擾最終的決策。較小的假設(shè)集并沒有削弱推理能力，反而防止了推理路徑的碎片化。

圖 3：Interest Expansion 寬度消融。

Transition Inference (興趣推斷): 在最后一步 Transition Inference 中，模型會對候選方向進行綜合評估。評估維度不僅涵蓋證據(jù)強度、行為近期性與時間連貫性，還兼顧了畫像匹配、目標域兼容性以及潛在的答案泄露風險。這一過程有效串聯(lián)了前序的推理邏輯：既利用 R1 建立跨域的一跳橋接，又結(jié)合 R2 判斷興趣的時序演進。最終推斷出的興趣，不能僅僅停留在語義層面的 “相關(guān)”，更需要通過多跳的興趣演化推理，清晰地還原出它是如何從用戶的歷史軌跡中一步步自然延伸而來。

表 3：Interest Expansion 和 Transition Inference 的例子。

CoT 質(zhì)量評估

為了評估推薦思維鏈（CoT）的生成質(zhì)量并規(guī)避常見的推理缺陷， OneReason 設(shè)計了一套多維度的評估體系。在落地實踐中發(fā)現(xiàn)，推薦 CoT 極易陷入兩個極端：一是 “結(jié)果劇透”，即推理文本提前暴露了目標商品，讓解釋變成了同義反復；二是 “偽解釋”，即生成的文本看似邏輯通順，但完全脫離了用戶的真實行為支撐。針對這些痛點，OneReason 從以下五個核心維度對 R3 階段的推理鏈路進行量化評測：

• Safety：排查推理文本中是否混入了目標 Item ID、商品標題等特征，防止模型 “偷懶” 直接劇透最終的推薦結(jié)果。
• Consistency：校驗推理鏈路最終導出的結(jié)論，與系統(tǒng)預設(shè)的推薦目標是否嚴格對齊，避免推理過程與最終結(jié)果南轅北轍。
• Logic：甄別模型是在真正歸納、提煉用戶的行為規(guī)律，還是僅僅用自然語言把用戶的歷史行為流水賬式地 “復讀” 了一遍。
• Factuality：確保推理內(nèi)容嚴格基于真實的用戶行為序列，杜絕大模型常見的 “事實幻覺”（如虛構(gòu)交互行為、打亂時間線，或強行腦補、夸大用戶的興趣偏移）。
• Informativeness：評估推理過程是否提供了具體、有洞察的解釋視角，摒棄那些放之四海而皆準、毫無信息增量的 “廢話” 描述。

圖 4：R3 推理軌跡質(zhì)量評估，覆蓋 Safety、Consistency、Logic、Factuality、Informativeness 五個維度）。

五、RL 設(shè)計

在 SFT 階段，模型已經(jīng)學會理解用戶需求、生成推薦推理過程，并輸出相應的推薦結(jié)果。但 SFT 本質(zhì)上仍是在模仿已有數(shù)據(jù)，其能力容易受到訓練樣本和教師模型的限制。因此，推薦基礎(chǔ)模型需要進一步引入強化學習階段，讓模型不再只是復現(xiàn)已有軌跡，而是能夠根據(jù)推薦結(jié)果反饋進行自我探索，發(fā)現(xiàn)更有效的推薦策略。

讓強化學習適配推薦任務

相比于數(shù)學推理、代碼生成等可驗證場景，推薦任務所涉及到的候選空間極大，正確推薦信號極其稀疏，同時用戶興趣往往具有多個方向。直接套用通用 GRPO，難以獲得足夠有效的獎勵反饋。為此，OneReason 對 GRPO 進行了三方面改進。

• 兩階段軌跡生成：先生成推理軌跡，再基于同一軌跡擴展多個候選推薦，以較小額外開銷顯著增加有效軌跡數(shù)量，緩解推薦獎勵稀疏問題。
• Set-wise 獎勵：OneReason 把獎勵從 point-wise 抬升到 set-wise/list-wise：在同一條推理軌跡下并行生成多條候選，并基于這組候選整體評估其覆蓋度、多樣性，鼓勵模型探索能夠覆蓋用戶多方向興趣的推理路徑。
• 優(yōu)化穩(wěn)定策略：針對推理文本 token 和推薦 itemic token 采用不同的裁剪范圍，并降低大量未命中樣本在梯度中的權(quán)重，從而緩解稀疏獎勵下的訓練震蕩，使模型更穩(wěn)定地學習推薦推理能力。

先專后合的強化學習鏈路

推薦基座模型需要同時服務于視頻、商品、廣告、直播等多個領(lǐng)域。由于不同領(lǐng)域的用戶行為模式、物品語義和獎勵分布存在明顯差異，直接在混合數(shù)據(jù)上進行強化學習容易產(chǎn)生跨領(lǐng)域干擾。為此，OneReason 提出了先專后合（Specialize-then-Unify）的訓練鏈路：首先在每個領(lǐng)域內(nèi)獨立進行強化學習，學習領(lǐng)域特有的推薦知識；隨后再將多個領(lǐng)域?qū)＜夷Ｐ偷哪芰θ诤系浇y(tǒng)一模型中。具體來說，其探索了兩條不同的技術(shù)路線：RFT（Rejection Sampling Fine-tuning）通過學習專家生成的高質(zhì)量成功軌跡進行知識整合；MOPD（Multi-Teacher On-Policy Distillation）則從策略層面持續(xù)吸收多個領(lǐng)域?qū)＜业哪芰Α煞N方法各有優(yōu)勢：RFT 能夠更好地保留專家發(fā)現(xiàn)的高質(zhì)量推理模式，并且隨著 Recall@K 中 K 的增大，其收益更加明顯；MOPD 則能夠更充分地繼承多領(lǐng)域?qū)＜抑R，對 thinking 和 non-thinking 模式帶來同步提升，使 non-thinking 模式也取得具有競爭力的表現(xiàn)。

六、Benchmark

評估的核心思路是把推薦模型的能力拆成四個遞進層級來衡量，從 “能否看懂物料內(nèi)容” 一路深入到 “能否做好推薦”。其中，第一層是感知（R0），關(guān)注模型能否真正理解 itemic token 背后的語義；第二層是推導（R1），關(guān)注模型能否從單個內(nèi)容出發(fā)，進一步理解內(nèi)容與內(nèi)容之間的關(guān)聯(lián)；第三層是演進（R2），關(guān)注模型能否從用戶歷史行為中識別興趣主題，并理解興趣隨時間變化的過程；第四層是推薦（R3），則進一步考察模型能否把前面三層能力綜合起來，最終完成真實業(yè)務場景中的推薦決策。為了考察以上幾方面模型能力，OneReason-Bench 設(shè)計了大量針對性任務，包括物料理解、物料問答、i2i、興趣鏈條抽取等多方面評估任務。

七、實驗結(jié)果

主實驗結(jié)果

在評測方面，OneReason 在短視頻、電商商品、廣告、直播四類跨域推薦任務中完成對標評測，對比基線覆蓋三大模型品類：ID 序列類（SASRec、HSTU）、通用大模型（Qwen3、DeepSeek-V3.2、GPT-5.4 等）、物品 Token 架構(gòu)模型（TIGER、LC - 全系列），實測結(jié)論如下：

1. OneReason-RFT 綜合全維度領(lǐng)跑，thinking 范式在推薦領(lǐng)域全面超越 non-thinking 范式

RFT 版本 thinking 效果在四大業(yè)務域全面優(yōu)于全部對照模型，且超越 non-thinking 效果。以短視頻推薦為例，相較最優(yōu)基線 LC-Rec-PT-SFT-8B，指標相對漲幅超 60%；廣告、直播場景增益更為突出，直播域召回指標相較通用 LLM 整體高出一個量級。

2. 推理增益依托 RL 專項優(yōu)化，原生 SFT 無法激活思考能力

僅經(jīng)過 SFT 微調(diào)的模型，其 Thinking 模式的表現(xiàn)反而劣于 Non-Thinking 模式，這印證了業(yè)界普遍面臨的痛點：直接在推薦任務中引入 CoT 容易引發(fā) “過度思考”，反而損害基礎(chǔ)推薦性能；但后續(xù)依托 “先專后合” 的 RL 方案優(yōu)化后，thinking 指標實現(xiàn)反超領(lǐng)跑，證實強化學習是解鎖推理收益的必備環(huán)節(jié)。

3. 四層分級預訓練筑牢能力上限，是模型性能躍遷核心底座

搭載 OneReason 預訓練權(quán)重的 LC-Rec，對比從零 SFT 訓練版本，廣告域命中率提升近 5 倍。印證 Token、Item、Relational、User 四層預訓練實現(xiàn) itemic Token 與自然語言深度語義對齊，構(gòu)成后續(xù) CoT 推理的底層基礎(chǔ)。

4. ID-Based 模型、通用 LLM 各有短板，專用推薦基座更適配落地

傳統(tǒng) ID 架構(gòu)受大量新物品冷啟動制約；通用大模型缺少用戶協(xié)同行為特征，依賴 ANN 檢索落地，跨域推薦效果顯著落后 OneReason，佐證通用能力不能等價于推薦能力，定制化生成推薦基座是更優(yōu)技術(shù)路線。

CoT 能力內(nèi)化現(xiàn)象

此外，在 OneReason 的實驗中，存在另一個有意思的 CoT 能力內(nèi)化現(xiàn)象：即引入 CoT 推理監(jiān)督，不僅能提升模型的 think 能力，還能間接反哺 non-think 的推薦性能。為進一步驗證這一結(jié)論，在固定總 Token 規(guī)模（0.25B tokens）的約束下開展了對照實驗：一組僅使用 100K 純無推理（unCoT）樣本訓練；另一組采用 40K CoT 樣本與 50K unCoT 樣本混合訓練。兩組模型統(tǒng)一采用 non-thinking 模式進行評測，各域 Pass@64 結(jié)果如下：

結(jié)果表明，在短視頻、商品和直播域，混入 CoT 數(shù)據(jù)均帶來了不同程度的收益（除廣告域以外）。在此基礎(chǔ)上，OneReason 進一步通過消融實驗探究各業(yè)務域下 CoT 與 unCoT 的最優(yōu)混合比例。實驗證明：CoT 樣本并非占比越高越好，不同域?qū)?“推理濃度” 的偏好存在顯著差異。短視頻與直播域在 CoT 與 unCoT 配比趨于均衡（或適度偏向 CoT）時達到最優(yōu)。本文猜測是由于這兩個域的用戶歷史通常包含多意圖信號，因此 CoT 的證據(jù)梳理能力能發(fā)揮較大價值。電商域更適配高 CoT 占比的配置，這一現(xiàn)象可能因為電商域的購買意圖往往需要從內(nèi)容線索和行為躍遷中進行深度推斷。相反廣告域的性能隨配比變化的曲線較為平緩，整體更偏好 unCoT 數(shù)據(jù)，這可能是因為廣告轉(zhuǎn)化更依賴短期的曝光模式與即時轉(zhuǎn)化信號，這些特征很難被自然語言推理鏈完全捕獲。

圖 5：CoT/unCoT 配比對 non-thinking 推薦的影響。

CoT 信息熵增益

圖 6：Delta LL 對比，RFT 后全域轉(zhuǎn)正。

與此同時，OneReason 發(fā)現(xiàn)隨著推理步驟的逐步展開，目標 Item 的似然值呈現(xiàn)整體上升趨勢。而且RFT 模型往往在推理的極早期就達到了似然峰值。這說明高質(zhì)量的推薦推理長度不應過長，盡早提取關(guān)鍵證據(jù)。這一特性也為未來探索 “推理鏈壓縮” 或 “自適應早停” 機制提供了理論依據(jù)。

圖 7：CoT prefix likelihood progression。

案例分析

在這起真實推薦案例中，推薦目標是一條《三角洲行動》的裝備玩法視頻。該案例的難點在于：用戶歷史行為中并沒有大量的《三角洲行動》直接交互，僅包含一次微弱的三角洲游戲廣告點擊信號。如果模型單純依賴歷史高頻 IP，很容易陷入傳統(tǒng) SFT 路徑，繼續(xù)推薦《和平精英》或《王者榮耀》相關(guān)內(nèi)容，從而失去外推到新游的能力。

從兩者的思考過程分析，SFT 和 RFT 雖都能識別出用戶是 18-23 歲的年輕男性游戲受眾，但在興趣推斷階段產(chǎn)生了本質(zhì)差異

• SFT 的局限（路徑依賴）： SFT 的思考過程完全被高頻的《和平精英》和《王者榮耀》主導。在分析潛在興趣點 A 時，它直接將后續(xù)可能性局限在《和平精英》上。因為缺乏深度推斷能力其推薦結(jié)果仍然是《和平精英》，進而導致推薦失敗。
• RFT 的優(yōu)勢（多跳推理）： RFT 展現(xiàn)出了更強的泛化推導能力。其思考過程沒有被高頻的熱門游戲淹沒（如《和平精英》），而是準確提煉出用戶最深層的核心關(guān)注點是 “《絕地求生》/ 戰(zhàn)術(shù)競技類游戲的新玩法或裝備”。基于 “戰(zhàn)術(shù)競技新玩法” 這一底層邏輯，RFT 成功建立了歷史高頻游戲與 “三角洲行動” 新游之間的聯(lián)系。它在思考中明確指出：用戶對射擊游戲的熱情不局限于《和平精英》，已延伸至類似玩法（如地逃），而《三角洲行動》作為熱門新游，恰好承接了這一細分需求。

業(yè)務收益

在線上部署結(jié)果上，OneReason 在快手本地生活廣告場景進行了10 天線上 A/B 實驗，實驗組和對照組各使用 5% 流量。系統(tǒng)采用 Fast-Slow Thinking 架構(gòu)：近線 OneReason 負責慢思考召回，實時 OneReason 賦能 OneRec 負責在線快思考服務，兩者結(jié)果進入排序模型融合。

圖 8：Fast-Slow Thinking 在線部署架構(gòu)。

圖 9：Fast 部署架構(gòu)。

通過 Fast-Slow Thinking 架構(gòu)，OneReason 已初步賦能業(yè)務，收益對應快手平臺年化數(shù)億元人民幣級別的商業(yè)收入增量，并達到 ROI > 5。這說明 OneReason 不只是離線 benchmark 上的探索，也具備在嚴格延遲與成本約束下進入工業(yè)系統(tǒng)的可行性。

八、總結(jié)與展望

生成式推薦一路走來，快手技術(shù)團隊從 OneRec V1/V2 驗證了生成式推薦的 Scaling 能力，到 OneReason 真正打開推薦基模的 Reasoning 能力，用一個完整閉環(huán)回答了三個曾經(jīng)懸而未決的問題：

a. 推薦基模能不能 "會推理"？

i. 答：能，但必須先做好 itemic token 感知對齊，同時設(shè)計合理的溯因類型 CoT 格式，才能夠在 RL 階段完全激發(fā) Thinking 潛力。

b. 推薦 CoT 應該長什么樣？

i. 答：結(jié)合 “用戶抽象 -> 興趣發(fā)散 -> 興趣轉(zhuǎn)移和推導” 形式的 CoT 能夠在 RL 階段顯著提升 Thinking 能力。

c. 推理基模能不能上線工業(yè)場景？

i. 答：完全可以，通過 Fast-Slow Thinking 架構(gòu)結(jié)合近線與實時部署，同時 ROI 可觀。

下一步，OneRec 團隊將繼續(xù)深入推薦技術(shù)與大模型技術(shù)的融合，打造 Agentic Recommender Harness，讓推薦基模具備規(guī)劃與工具調(diào)用能力，逐步驅(qū)動推薦系統(tǒng)向 Agentic 架構(gòu)演進。后續(xù)，OneReason 的更多技術(shù)細節(jié)以及 OneReason 系列的模型權(quán)重將陸續(xù)開源，歡迎學術(shù)界與工業(yè)界同行一起把推薦系統(tǒng)的 Reasoning 時代推向更遠。

本文相關(guān)內(nèi)容也將在6 月 13 日舉辦的快手技術(shù)沙龍現(xiàn)場進行分享，歡迎對生成式推薦、推薦推理能力以及 Agentic Recommender 感興趣的同學到場交流，共同探討推薦系統(tǒng)與大模型融合的前沿實踐。

同時，OneRec 團隊也將在活動現(xiàn)場正式發(fā)布「快手探索者 LLM-Rec 挑戰(zhàn)賽」，面向全球?qū)ν扑]技術(shù)感興趣的同學開放，邀請大家共同探索推薦系統(tǒng)與大模型深度融合的技術(shù)邊界，攜手打造更懂世界的推薦基礎(chǔ)模型。

報名技術(shù)沙龍：https://www.huodongxing.com/event/1862626323800?sessionid=