《科創板日報》7月18日訊 (記者田野 王耐)2026世界人工智能大會·學術會議(WAICA 2026)將于7月18日在上海正式啟幕。作為本屆大會金融AI領域的代表性成果,大模型科技公司財躍星辰的學術論文《A Deep Research Benchmark with Consensus-Derived Gold Rubrics for Distinguishing Financial Report Quality》正式被大會錄用。
該論文提出了一套面向金融深度研究的可擴展評測基準,首次構建“共識驅動的金標準評分體系”,不僅為行業評估Deep Research智能體的研報質量提供了客觀標尺,更破解了長期以來金融AI評測依賴人工、難以規模化的核心痛點。
作為WAIC配套的頂級學術會議,WAICA 2026由姚期智院士擔任大會主席,鄭慶華、鄂維南院士出任程序委員會主席,匯聚全球人工智能領域頂尖學者,是AI技術成果學術含金量的權威認證平臺。此次財躍星辰論文入選,標志著國內金融AI評測技術的創新成果獲得了國際學術界的認可。
隨著Deep Research智能體在投研、行業分析、產業調研等領域快速滲透,金融深度研究的智能化進程加速,但評測體系的滯后已成為制約行業發展的共性瓶頸。傳統金融AI評測高度依賴人類專家逐條制定評分標準并人工判分,不僅人力成本高昂、產能有限,更存在標準不統一、主觀性強、難以高頻迭代等問題,無法支撐大模型時代的規模化產品迭代。
“模型迭代是以天為單位的,但人工評測是以周甚至月為周期的,兩者節奏完全不匹配。”業內人士指出,傳統評測模式下,研發團隊無法快速獲得量化反饋,Deep Research智能體的強化學習訓練缺乏穩定的獎勵信號,直接限制了產品的進化速度。
針對這一行業難題,財躍星辰研究團隊在論文中提出了一套“無需人類專家參與最終環節”的自動化評測流水線,其核心創新在于“共識驅動的金標準評分標準”篩選方法。
為構建這套基準,研究團隊基于104個真實用戶金融查詢,收集了10個主流Deep Research系統生成的1040篇研報,并自動合成14450條查詢級候選評分標準。團隊首先通過人類專家與大模型評審的對照實驗,驗證了大模型作為評審主體的可靠性;隨后通過一致性過濾器與區分度過濾器兩輪篩選,最終從海量候選標準中精煉出2600條高質量金標準評分規則。
實測結果顯示,基于這套金標準體系,10個被測Deep Research系統的通過率從58.58%到22.23%呈現出清晰的梯度分化,既能夠準確區分不同產品的能力層級,也充分驗證了評測體系的有效性與區分力。
更具產業價值的是,這套評測流水線完全擺脫了對人工專家的產能依賴。移除人工瓶頸后,評測規模可以低成本、高頻次地橫向擴展,不僅支持批量對比不同系統的產出質量,其生成的大規模自動化評測信號還可直接作為獎勵信號,接入Deep Research智能體的強化學習后訓練流程,形成“評測驅動模型進化”的正向飛輪。
這項學術成果并非停留在紙面,已在財躍星辰自研的金融深度研究智能體“AI小財神”的深度研究模式中完成落地驗證,成為產品持續迭代的核心牽引工具。
由于評測流水線實現了全自動化,研發團隊將其深度嵌入產品的訓練與迭代閉環:每一輪模型優化中,大規模自動生成的評測信號都可作為智能體強化學習的獎勵信號,精準指導模型在報告規劃、數據溯源、邏輯推理、分析覆蓋度等多個維度定向改進。
具體來看,依托該評測基準的牽引,AI小財神已在四大核心金融場景完成持續優化:行業研究場景下,優化產業鏈梳理、競爭格局分析的信息檢索策略與邏輯鏈路,提升研報專業深度;投資分析場景下,針對個股基本面、估值建模等任務,補強數據引用準確性與分析框架完備性;事件解讀場景下,加快政策、業績等突發信息的影響鏈推理速度與洞察深度;數據可視化場景下,優化研報中財務圖表的生成準確性與文本解讀的協同度。
作為業內首個基于真實用戶需求構建、覆蓋百級查詢與千篇級研報的金融深度研究評測基準,該成果為整個金融Deep Research賽道提供了一把客觀、可量化的“標尺”,結束了此前行業產品質量缺乏統一衡量標準的局面。財躍星辰方面表示,未來公司將持續深耕金融深度研究智能體的評測與優化技術,不斷完善可擴展的評測基準體系,以評測驅動產品持續進化,推動金融研究智能化向更高水平邁進。
財躍星辰由上海報業集團旗下界面財聯社與國內頭部通用大模型公司階躍星辰聯合成立,聚焦金融領域大模型技術研發與場景落地。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.