網(wǎng)易有道CEO周楓：一張圖，七個(gè)要點(diǎn)，讀懂“Harness思維”

作者 | 周楓

審校 | 凌敏

轉(zhuǎn)載來源 | 周楓（ID：youdaozhoufeng）

關(guān)于 Harness/Agent 的討論比較多，總體上大家共同的看法是：現(xiàn)在是通過 Harness 來做大模型創(chuàng)新應(yīng)用的好時(shí)機(jī)，但是 Harness 和以往的應(yīng)用開發(fā)范式有較大不同，需要用一些不同的方法，才能做出好的產(chǎn)品，沿用原有的思維方式可能事倍功半。

本文從行業(yè)分享和內(nèi)部實(shí)戰(zhàn)中總結(jié)了一些最佳實(shí)踐，和大家探討。

先界定一下概念。所謂 Harness（馬具 / 載體），指的是模型之外、把模型包裝成一個(gè)可用產(chǎn)品的那一整層工程：上下文管理、工具、記憶、持久化狀態(tài)、評(píng)測(cè)、循環(huán)控制、可觀測(cè)性與權(quán)限治理。

一個(gè)標(biāo)準(zhǔn)的說法是 Agent = Model + Harness：模型負(fù)責(zé)“思考”，Harness 負(fù)責(zé)讓這份思考變得可理解、可協(xié)作、可復(fù)現(xiàn)、可長(zhǎng)期運(yùn)行。長(zhǎng)程 Agent 對(duì) Harness 的依賴，超過它對(duì)任何單個(gè)模型的依賴。更強(qiáng)的模型并不會(huì)自動(dòng)變成更可靠的 Agent 服務(wù)。簡(jiǎn)單來說，對(duì)于一個(gè)復(fù)雜的 Agent，模型也許只完成 20% 的工作，剩下 80%、讓產(chǎn)品持續(xù)可靠工作的基礎(chǔ)，是 Harness。

這正是標(biāo)題“Harness 即產(chǎn)品”的含義：在大模型應(yīng)用里，團(tuán)隊(duì)真正在設(shè)計(jì)和迭代的產(chǎn)品，往往不是一個(gè)個(gè)具體的功能，而是這一整層 Harness 本身。

下面七點(diǎn)，是我看到的構(gòu)建一個(gè)好的基于 Harness 產(chǎn)品的要點(diǎn)。

面向下一代模型能力設(shè)計(jì)產(chǎn)品

很多團(tuán)隊(duì)一開始就犯一個(gè)錯(cuò)誤：圍著模型今天的能力優(yōu)化和打磨，試圖讓功能更準(zhǔn)、更快、更便宜，結(jié)果產(chǎn)品上線沒多久就被新模型直接替換。

解決這一問題的一個(gè)辦法，是做一定的超前定位：產(chǎn)品路線圖不該只問模型今天能不能做，更要問“半年后如果模型在規(guī)劃、工具使用和長(zhǎng)上下文上再上一個(gè)臺(tái)階，我們?nèi)绾巫プ〖t利”。

工程上，可以先用強(qiáng)模型跑出效果，再逐步嘗試小模型替換；業(yè)務(wù)上，則優(yōu)先選擇會(huì)隨著模型智能提升而不斷放大價(jià)值的場(chǎng)景，比如復(fù)雜決策場(chǎng)景、需要深度思考的功能、跨系統(tǒng)調(diào)度，或者需要深入專業(yè)知識(shí)的產(chǎn)品。

Claude Code 負(fù)責(zé)人 Boris Cherny 在Lenny's Podcast 的訪談里把這件事講得很清楚：Claude Code 一開始只是個(gè)小嘗試，團(tuán)隊(duì)是在“賭模型半年后的能力”——他們刻意按“模型將會(huì)變成什么樣”、而不是“模型現(xiàn)在能做什么”來設(shè)計(jì)產(chǎn)品。

當(dāng)時(shí)他的判斷是，模型獨(dú)立編程的能力正在快速上升，交互方式因此必須從以人為主的自動(dòng)補(bǔ)全（auto-complete）轉(zhuǎn)向以 Agent 為主：“模型能做到很多還沒有產(chǎn)品接住的事…… 我們其實(shí)不必再做 type-ahead 了，可以直接讓 Agent 把所有代碼都寫出來?！边@個(gè)賭注在 2025 年 5 月 Opus 4 發(fā)布時(shí)兌現(xiàn)，產(chǎn)品隨之取得巨大成功。

他給出的兩條產(chǎn)品原則也值得思考：“別試圖把模型框死”（少用僵硬的編排，多給工具和目標(biāo)讓模型自己想），以及“押注更通用的模型”——在模型一夜之間就能改變能力邊界的領(lǐng)域里，能隨模型一起變強(qiáng)的靈活方案，往往勝過為當(dāng)下定制的腳手架。

要做高智能產(chǎn)品

不是所有 AI 功能都值得投入。

一個(gè)簡(jiǎn)單的判斷標(biāo)準(zhǔn)是：如果這個(gè)問題主要靠規(guī)則、搜索和模板就能解決，那它未必值得產(chǎn)品化；如果它依賴模糊判斷、跨文檔理解、多步驟推理和人與系統(tǒng)之間的復(fù)雜協(xié)作，那它才更適合為之開發(fā)大模型產(chǎn)品。

一個(gè)考慮的角度，是“類比一個(gè)需要資深員工處理的復(fù)雜任務(wù)切片”。如果你是產(chǎn)品負(fù)責(zé)人，最應(yīng)該優(yōu)先篩選的場(chǎng)景，不是流量最大，而是單次任務(wù)價(jià)值最高、判斷復(fù)雜度最高、人工成本最貴的那些。這類場(chǎng)景雖然起步看起來更難，但一旦做通，用戶會(huì)把它當(dāng)真正的生產(chǎn)力工具，而不是新鮮一下的演示玩具。

換個(gè)角度說，任務(wù)切片越難、價(jià)值越高，模型單獨(dú)能交付的比例就越低，當(dāng)然最終能不能穩(wěn)定上線，恰恰取決于 Harness 建得好不好，對(duì)模型能力的判斷是否正確，但總的來說，把注意力集中在高智能產(chǎn)品方向上，是成功可能性更大的。

有價(jià)值的 Agent 產(chǎn)品，往往消耗較多 tokens

很多團(tuán)隊(duì)的第一直覺是“把 token 用量壓到最低”，但對(duì)真正困難的任務(wù)來說，這往往是一上來就設(shè)定錯(cuò)了優(yōu)化目標(biāo)。對(duì)于高價(jià)值場(chǎng)景來說，token 消耗是創(chuàng)造價(jià)值的，因此在一定范圍內(nèi)是越多越好。所以這類場(chǎng)景里，正確的默認(rèn)態(tài)度是舍得花——和上一點(diǎn)呼應(yīng)，單次任務(wù)價(jià)值越高、判斷越復(fù)雜，越不該在 token 上摳門。一個(gè) Agent 任務(wù)跑下來，累計(jì)輸入 token 在數(shù)十萬到數(shù)百萬之間，都是比較正常的。

因此 Harness 的一個(gè)重要任務(wù)，是讓 token 的花費(fèi)具有經(jīng)濟(jì)上的可核算性——能夠統(tǒng)計(jì)和優(yōu)化 token 的消耗，使得該花的地方花充分，不該花的地方足夠節(jié)省。這個(gè)和公司的增長(zhǎng)團(tuán)隊(duì)一定要量化計(jì)算 ROI 一樣，是團(tuán)隊(duì)一個(gè)必要的基本功。

這里有一些重要的杠桿：一是提示詞的緩存，是團(tuán)隊(duì)要關(guān)注和優(yōu)化的要點(diǎn)；二是分層與路由——用強(qiáng)模型跑出比較好的效果后，把簡(jiǎn)單節(jié)點(diǎn)下放給小模型；也可以用批處理（batch）的方式跑可異步的批量任務(wù)、必要時(shí)做上下文重置來進(jìn)一步節(jié)省開銷。注意，這些手段省的是無謂的浪費(fèi)，在高價(jià)值環(huán)節(jié)應(yīng)該放開手腳，放心大膽地花。

把上下文工程當(dāng)成主任務(wù)

上下文工程（context engineering），目的是讓模型在某一時(shí)刻究竟知道什么、不知道什么、記住什么、遺忘什么，而不是寫更長(zhǎng)、更巧妙的提示詞。如果說 Harness 有一個(gè)心臟，那就是上下文管理：前面幾點(diǎn)，最終都要落到管理上下文內(nèi)容這個(gè)動(dòng)作上，而不是簡(jiǎn)單地使用不斷積累對(duì)話上下文的默認(rèn)規(guī)則。至少要把上下文拆成幾層：系統(tǒng)規(guī)則、當(dāng)前任務(wù)、檢索知識(shí)、用戶歷史、長(zhǎng)期偏好、工具結(jié)果。不同層應(yīng)該有不同的優(yōu)先級(jí)、生命周期和壓縮方式（見下圖）。Anthropic 把上下文工程的目標(biāo)概括成一句話：找到“能最大化達(dá)成目標(biāo)的、最小的一組高信號(hào) token”，因?yàn)樯舷挛氖且环N邊際收益遞減的有限資源。

關(guān)于上下文工程的好文章不少，比如這篇：《Agent 全面爆發(fā)！萬字長(zhǎng)文詳解上下文工程》

工具是給模型看的產(chǎn)品界面

Agent 調(diào)不好工具，往往不是模型不聰明，而是工具設(shè)計(jì)得不對(duì)。

現(xiàn)在國(guó)內(nèi)外主流模型的 Agent 能力都已經(jīng)較強(qiáng)，在絕大多數(shù)場(chǎng)景下都有有效地驅(qū)動(dòng)設(shè)計(jì)良好的工具集合來工作，所以在上下文工程之后，工具的設(shè)計(jì)是團(tuán)隊(duì)?wèi)?yīng)該聚焦的點(diǎn)。對(duì)于不熟悉這個(gè)方法的團(tuán)隊(duì)，這需要一次觀念升級(jí)：你不只是寫一個(gè) API 給自己的前端或服務(wù)端調(diào)用，而是在設(shè)計(jì)一個(gè)“模型可消費(fèi)的能力單元”。如果工具過多、命名相似、參數(shù)含糊，模型就容易誤選；如果返回結(jié)果冗長(zhǎng)且噪音大，還會(huì)進(jìn)一步污染上下文。

比較實(shí)用的做法是：先收斂工具數(shù)量，把高頻業(yè)務(wù)動(dòng)作做成少數(shù)幾個(gè)高信號(hào)、強(qiáng)約束的工具；其次使用嚴(yán)格的 schema 和結(jié)構(gòu)化輸出，避免自由文本在節(jié)點(diǎn)之間傳遞錯(cuò)誤指令；最后為關(guān)鍵工具寫清“什么時(shí)候該用、什么時(shí)候不該用、調(diào)用成功與失敗分別長(zhǎng)什么樣”。

Anthropic 在工具使用文檔里也強(qiáng)調(diào)，影響調(diào)用效果最重要的因素之一，就是工具描述本身。不少一線實(shí)踐也指向同一組做法：工具一旦超過二十來個(gè)，模型就容易在相似工具間選錯(cuò)（比如把“訂單查詢”和“物流查詢”搞混）；同時(shí)避免“瑞士軍刀式”的多功能工具，改用單一職責(zé)、強(qiáng) schema 的小工具，并在真正調(diào)用前先做參數(shù)校驗(yàn)、把錯(cuò)誤直接“回吐”給模型修正。

用評(píng)測(cè)驅(qū)動(dòng)開發(fā)

做 Agent 比較容易掉入的一個(gè)坑是做出“差不多”能工作的產(chǎn)品，然后碰到問題反復(fù)手工調(diào)整，但是按下葫蘆浮起瓢，陷入打地鼠的困境。這個(gè)時(shí)候，團(tuán)隊(duì)缺乏的就是量化的評(píng)測(cè)辦法。一個(gè)真正可上線的 Agent，必須有細(xì)分任務(wù)級(jí)的、量化的評(píng)測(cè)體系。評(píng)測(cè)至少要覆蓋四層：最終答案質(zhì)量、工具調(diào)用正確率、流程完成率和安全樣本通過率。更進(jìn)一步來講，還應(yīng)該有邊界樣本、對(duì)抗樣本和真實(shí)線上日志回灌。一定要把“憑感覺”換成“看數(shù)據(jù)”。

從實(shí)操角度，Anthropic 的《Demystifying Evals for AI Agents》是目前最權(quán)威的 Harness/Agent 評(píng)測(cè)指南，同時(shí)也已經(jīng)有多個(gè)開源的框架出現(xiàn)，大家可以選擇參考和使用。

默認(rèn)從單 Agent 開始

多 Agent 很容易讓人興奮，因?yàn)榭瓷先ジ瘛敖M織協(xié)作”。但很多有經(jīng)驗(yàn)的團(tuán)隊(duì)都建議先把單 Agent 做到極致，只有當(dāng) prompt 邏輯過于復(fù)雜、工具集合擁擠、權(quán)限等級(jí)不同、任務(wù)目標(biāo)天然分離時(shí)，再拆成多 Agent。

原因很簡(jiǎn)單：多 Agent 會(huì)帶來 handoff、狀態(tài)同步、權(quán)限分層、成本疊加和調(diào)試復(fù)雜度。拆對(duì)了，系統(tǒng)會(huì)更清晰；拆錯(cuò)了，只會(huì)讓問題在更多節(jié)點(diǎn)里來回傳遞。真正值得拆的，是那些邊界清楚且目標(biāo)不同的角色，比如“分診—執(zhí)行—質(zhì)檢”“檢索—分析—操作”或者“客服—退款—物流”。

這件事社區(qū)里有一場(chǎng)很有代表性的爭(zhēng)論：Cognition（Devin 背后的團(tuán)隊(duì)）寫過《Don't Build Multi-Agents》，主張默認(rèn)就用單 Agent——多個(gè) Agent 之間很難共享完整上下文、容易決策沖突，對(duì)“寫”類的強(qiáng)一致性任務(wù)（比如寫代碼）尤其脆弱；而 Anthropic 在《How we built our multi-agent research system》里給出了反例：在“讀”類的開放式研究任務(wù)上，主從式（orchestrator-worker）多智能體比單個(gè) Claude Opus 4 高出 90.2%，但代價(jià)是 token 消耗約為普通對(duì)話的 15 倍。兩邊其實(shí)指向同一條分界線——任務(wù)偏“讀”還是偏“寫”、能不能共享上下文，決定了該不該拆。

小結(jié)：你迭代的產(chǎn)品，就是 Harness

把這七點(diǎn)連起來看，它們其實(shí)是同一個(gè)工程的七個(gè)側(cè)面：超前定位定方向、高智能場(chǎng)景定取舍、舍得花 token 求價(jià)值、上下文管理是心臟、工具是手、評(píng)測(cè)是免疫系統(tǒng)、循環(huán)編排是骨架。

模型會(huì)一代代變強(qiáng)，而且只會(huì)越來越強(qiáng)——但更強(qiáng)的模型不會(huì)自動(dòng)變成更可靠的 Agent 服務(wù)，從 demo 到完整產(chǎn)品的鴻溝，始終要靠 Harness 來填。

所以做大模型應(yīng)用，真正在持續(xù)設(shè)計(jì)、打磨、積累壁壘的，是這一整層 Harness。模型是可更換的引擎，Harness 才是你自己造的車。

會(huì)議推薦

大會(huì)限時(shí)早鳥票享 8 折專屬優(yōu)惠，現(xiàn)在報(bào)名立減 1160，更多詳情可掃碼或聯(lián)系票務(wù)經(jīng)理 13269078023 進(jìn)行咨詢。