當(dāng)我們說AI評測時，到底在評什么？

從手搓評測工作流到搭建完整體系，一位AI產(chǎn)品經(jīng)理如何通過實戰(zhàn)實現(xiàn)認知升級？本文深度拆解客服會話AI評測從零到一的完整閉環(huán)，揭秘評測方案設(shè)計的五個靈魂拷問，以及如何避免自動化跑分陷阱、資源錯配等常見誤區(qū)。帶你從執(zhí)行層面躍升至策略思維，看懂AI評測如何從一次性動作進化為體系化運營。

———— / BEGIN / ————

手搓一個評測工作流，搭建一整套評測體系：一個AI產(chǎn)品經(jīng)理的認知升級實錄

一、一切從一個評測項目開始

2024年，我接到一個任務(wù)：評測客服會話的AI回復(fù)質(zhì)量。

一開始我沒想太多，覺得不就是「找?guī)讞l對話、讓模型打打分」嗎？于是我打開工作流編輯器，拖了一個模型節(jié)點、接了幾個判斷分支，手搓了一個簡單的評測工作流—用不同的模型分別對客服會話逐條打分，然后出個報告。

看起來挺像那么回事。

第一輪小樣本人工標注后，我發(fā)現(xiàn)工作流的打分結(jié)果跟人工判斷偏差很大。于是開始調(diào) prompt、換模型、調(diào)整評估節(jié)點順序……折騰了幾輪，終于跑出了勉強能看的分數(shù)。

就在那一瞬間，我突然意識到：這不就是一個最小單元評測項目嗎？

那段時期，我所在的公司也在經(jīng)歷一場評測體系的進化，我也因此經(jīng)歷了從「手搓工作流」到「小樣本標注」到「調(diào)優(yōu)」的完整閉環(huán)，而我的角色也在不知不覺中發(fā)生了轉(zhuǎn)變—從一個旁觀的評估方案了解者，變成了親自上手的執(zhí)行者。從只負責(zé)出報告的工具人，變成了能參與優(yōu)化決策的參謀。

第一階段：各自為戰(zhàn)期。各業(yè)務(wù)線依賴第三方標注系統(tǒng)，業(yè)務(wù)方提需求、標注團隊執(zhí)行，效率低、反饋慢。不同業(yè)務(wù)用不同的標準，一個「回答準確」在不同團隊眼里的定義可能完全不同。

第二階段：體系覺醒期。公司開始意識到評測不能靠各業(yè)務(wù)自生自滅，開始搭建自研評測系統(tǒng)，逐步形成數(shù)據(jù)集管理 → 數(shù)據(jù)標注 → 標注策略維護 → 分析報告 → 評測版本管理的完整鏈路。

第三階段（現(xiàn)在）：自動化升級期。

我們正在啟動Rubric自動化評測—這背后的核心驅(qū)動力是兩個痛點：

1）效率瓶頸

業(yè)務(wù)更新迭代的節(jié)奏飛快，但人工標注的速度跟不上。每一次模型迭代都要重新標一批數(shù)據(jù)，周期長、成本高，嚴重拖慢了迭代節(jié)奏。自動化評測可以把常規(guī)維度跑成常態(tài)化的流水線，讓人工聚焦在更有價值的bad case分析和維度校準上。

2）人工評測的波動性問題

同個或不同的標注員對同一批會話的打分可能存在偏差（如下圖）。這種波動不是誰對誰錯，而是人類判斷天然存在的方差。Rubric的本質(zhì)是把「評分的尺子」顯式化：每個維度定義清楚評分標準、等級錨點和典型樣例，讓自動化工具按同一把尺子去量。即便最后仍然需要人工復(fù)核，也是在統(tǒng)一框架下的對話，而不是各說各話。

回頭看，從「手搓一條工作流」到「搭建一整套體系」，這中間差的不是技術(shù)能力，而是對「評測」這件事本身的認知。

因為當(dāng)我們說AI評測的時候，很多人只會想到「數(shù)據(jù)標注」「人工評測」「自動化評測」這三個詞。但這就像說「做飯就是切菜、炒菜、裝盤」—沒錯，但漏掉了最關(guān)鍵的部分：食材怎么搭配、火候怎么控制、不同人適合做什么菜。

評測不是一個執(zhí)行動作，而是一套策略體系。

二、回到那五個靈魂拷問

我把它拆成5個問題，每個問題對應(yīng)一個策略層。把它們串起來，就是一張完整的AI評測策略地圖。

第一問：測什么？— 評測方案設(shè)計

不是所有能力都值得測。

一個常見錯誤：上來就把模型的所有能力拉了一張大表，正確性、流暢性、安全性、一致性、創(chuàng)造力……恨不得測個遍。結(jié)果資源全鋪開了，每個維度都沒測透。

正確的做法不是列清單，而是做「三層過濾」—用三個問題逐層縮小評測范圍，最終得到一份有優(yōu)先級的評測方案。

第一層過濾：產(chǎn)品當(dāng)前處于什么階段？

產(chǎn)品階段決定了評測的戰(zhàn)略重心。同樣是AI產(chǎn)品，技術(shù)驗證期和上線運營期的關(guān)注點完全不同：

這三個階段是一個遞進關(guān)系，不是并列關(guān)系。前一階段沒達標，后一階段的評測就沒有意義。你不可能在模型還頻繁出錯的時候就盯著轉(zhuǎn)化率看。

第二層過濾：核心使用場景是什么？

階段定了大方向，場景定了具體維度。同一個階段，不同場景的評測重點截然不同：

這一層的價值是：把「要評測什么」從抽象維度翻譯成用戶可感知的能力。同樣是「正確性」，對話機器人看的是意圖識別，代碼助手看的是語法正確，不能混為一談。

第三層過濾：用戶最不能接受什么？

這是最容易被忽略的一層。即使維度選對了，如果權(quán)重分錯了，評測結(jié)果仍然會偏離真實體驗。

致命維度必須放在評測的最優(yōu)先級。其他維度可以逐步完善，但致命維度不達標，產(chǎn)品就不該上線。

三層過濾之后，評測方案設(shè)計就變成了一個加權(quán)優(yōu)先級矩陣：

評測方案設(shè)計就是根據(jù)這三個問題的答案，給每個維度分配權(quán)重。它不是一張固定清單，而是一個動態(tài)優(yōu)先級矩陣。

第二問：用什么維度測？—評測維度拆解

很多團隊的評測維度只有一列：「這個回答對不對？」

但AI產(chǎn)品的體驗是多維的。我常用的維度框架如下：

關(guān)鍵洞察：不同維度的評測方式、評測成本、所需評測人員都不同，不能一鍋燴。比如「正確性」可以用自動化腳本批量跑2000條case，但「流暢度」必須人工逐條感受。

第三問：誰來測？—評測角色的分工矩陣

這是最容易被忽視的問題。

很多人以為「評測就是找人打分」，但不同的人適合評不同的東西。

我畫了一個評測角色分工矩陣：

具體來說：

一個常見誤區(qū)：讓領(lǐng)域?qū)＜胰ピu「流暢度」。 專家很貴，但流暢度普通用戶就能評—這是資源錯配。

另一個誤區(qū)：所有維度都用同一批人測。一個人同時評「回答是否正確」和「回答是否流暢」，很容易產(chǎn)生光環(huán)效應(yīng)—覺得對的就也感覺流暢。

第四問：測出什么結(jié)論？—階段性結(jié)果的解讀

評測不是跑個分就完了。分數(shù)本身沒有意義，意義在于「分數(shù)告訴我們什么」和「下一步怎么做」。

我總結(jié)了一個結(jié)論解讀三步法：

第一步：區(qū)分「達標」與「不達標」

• 所有維度都達標 → 可以進入下一階段

• 部分維度不達標 → 定位具體問題

• 全部不達標 → 回到模型選型或訓(xùn)練階段

第二步：定位根因

• 正確率低 → 是訓(xùn)練數(shù)據(jù)問題？還是模型理解能力不夠？

• 流暢度差 → 是生成策略問題？還是prompt設(shè)計問題？

• 一致性差 → 是溫度參數(shù)問題？還是沒有做歷史記憶管理？

第三步：給出優(yōu)化方向

不是「回去改」，而是具體的：「提升XX維度的評分，建議做A/B實驗驗證YY方案」

一個真實案例（來自我手搓的第一條工作流）：

第一版工作流用單一模型對客服會話做「滿意/不滿意」二分類評分，結(jié)果與人工標注的一致率只有67%。

正確結(jié)論不是「模型太差，換模型」—而是：

• 「67%一致率說明單模型單維度的打分方式不夠」

• 「拆開看：模型對『語氣是否友好』的判斷偏差最大，但對『信息是否準確』的判斷還不錯」

• 「建議下一輪：把『綜合分』拆成『準確性』『友好度』『效率』三個子維度，每個維度單獨用不同prompt評估，然后加權(quán)合成總分」

調(diào)整后，一致率提升到了84%。這個教訓(xùn)讓我深刻理解了：不是評分工具的問題，是評測維度設(shè)計的問題。

第五問：還要怎么測？—調(diào)優(yōu)方向與例行化

評測不是一次性的。

我把它分為三個階段：

階段一：快速驗證（短期，1-2周）

• 人工 + 自動化結(jié)合

• 樣本量：每個維度200-500條

• 目標：快速定位問題，給出優(yōu)化方向

• 產(chǎn)出：「本輪評測報告 + 下輪優(yōu)化建議」

階段二：回歸驗證（中期，1-2個月）

• 建立評測基準庫：把上一輪的bad case沉淀為回歸用例

• 自動化回歸：每次模型迭代自動跑一遍基準庫

• 人工抽檢：每輪迭代抽取10-20%的樣本做人工復(fù)核

• 產(chǎn)出：「版本對比報告 + 回歸通過率」

階段三：例行化運營（長期，持續(xù)）

• 建立自動化評測流水線：每次部署前自動跑全量評測

• 建立bad case閉環(huán)機制：線上bad case自動回流到評測集

• 定期校準：每季度做一次人工校準，更新評測維度的權(quán)重

• 產(chǎn)出：「質(zhì)量看板 + 趨勢分析 + 迭代建議」

四、三個常見誤區(qū)（避坑指南）

誤區(qū)一：只關(guān)注自動化跑分，忽略人工體驗

• 表現(xiàn)：「MMLU 85分，上線后用戶罵翻」

• 原因：跑分測的是「知識量」，不是「體驗感」

• 對策：自動化做篩選，人工做終審

誤區(qū)二：所有維度用同一批人測

• 表現(xiàn)：讓領(lǐng)域?qū)＜以u流暢度、讓普通用戶評專業(yè)正確性

• 后果：成本高 + 結(jié)果不可靠

• 對策：按角色分工矩陣分配

誤區(qū)三：評測做一次就完事

• 表現(xiàn)：上線前測了一輪，上線后再也沒測過

• 后果：模型迭代后質(zhì)量退化無感知

• 對策：建立例行化機制，讓評測成為研發(fā)流程的一環(huán)

回想2024年剛開始做這件事的時候，我還在對著一條簡陋的工作流犯愁——為什么模型打分跟人對不上？

那時候我以為問題出在「工作流不夠復(fù)雜」「模型不夠強」。后來才發(fā)現(xiàn)，真正的問題是我把評測想簡單了。

一條工作流能解決的，只是一個「打分動作」。但一個評測項目要回答的，是這五個層層遞進的問題：

• 測什么—根據(jù)產(chǎn)品階段和場景，決定評測重點

• 用什么維度—拆解出可衡量、可執(zhí)行的維度（而不是一個籠統(tǒng)的「綜合分」）

• 誰來評—不同角色評不同的維度，資源最優(yōu)配置

• 結(jié)論怎么用—分數(shù)不是終點，結(jié)論要能指導(dǎo)迭代（比如把「綜合分」拆成三個子維度）

• 長期怎么跑—從一次性評測走向例行化質(zhì)量保障（從工作流到系統(tǒng)，從手搓到體系）

公司從2024年各自手搓工作流，到2025年搭建自研評測體系，再到2026年啟動Rubric自動化評測—這條路我完整走了一遍。回頭看，最大的認知升級就是：

AI評測不是「找?guī)讉€工具、標一批數(shù)據(jù)、跑一個分數(shù)」。它是一個從方案設(shè)計到例行化運營的策略體系。

下次當(dāng)你接到一個評測任務(wù)時，不妨先別急著打開工作流編輯器。先問問自己這五個問題，你可能會發(fā)現(xiàn)—評測方案本身，才是最重要的交付物。

本文來自作者：Miss卓卓