月之暗面聯(lián)合創(chuàng)始人張宇韜：衡量Agent的價(jià)值——人類有多信任它

?潮涌AI編輯部

當(dāng)大模型從單次問(wèn)答的對(duì)話工具，逐步走向能夠自主規(guī)劃、循環(huán)執(zhí)行、長(zhǎng)時(shí)間完成復(fù)雜任務(wù)的Agent，整個(gè)行業(yè)對(duì)于AI工程化的改造重心也在持續(xù)遷移。

如今，行業(yè)真正要攻克的命題，是搭建一套完整運(yùn)行環(huán)境，支撐模型自主完成小時(shí)級(jí)閉環(huán)任務(wù)。

大模型自身的理解、推理、規(guī)劃能力持續(xù)涌現(xiàn)，與之配套的工程方法論也要同步完成迭代。

7月3日，月之暗面聯(lián)合創(chuàng)始人張宇韜在“2026全球數(shù)字經(jīng)濟(jì)大會(huì)人工智能融合應(yīng)用發(fā)展論壇”上發(fā)表了《從Prompt到Harness，Agent工程的演進(jìn)之路》主題演講，完整梳理了大模型三段技術(shù)演進(jìn)脈絡(luò)，結(jié)合團(tuán)隊(duì)落地Agent的實(shí)踐經(jīng)驗(yàn)，拆解新一代Agent工程的底層邏輯、核心原則與長(zhǎng)期發(fā)展思路。

以下是張宇韜演講實(shí)錄，經(jīng)潮涌AI整理發(fā)布：

三個(gè)熱詞：

Prompt →Context→Harness Engineering

非常榮幸能夠來(lái)這里分享，模型廠商對(duì)于AI工程化以及整個(gè)AI構(gòu)建Agent實(shí)踐中的Know-how。

大模型從2023年發(fā)展到現(xiàn)在，其實(shí)經(jīng)歷了很多不斷迭代的過(guò)程。

整個(gè)旅程中有三個(gè)熱詞：

2023年ChatGPT剛發(fā)布的時(shí)候，我們一直在強(qiáng)調(diào)的概念是Prompt Engineering。

2024年演化到Context Engineering。

到2026年，現(xiàn)在最熱的一個(gè)詞叫Harness Engineering。

這三個(gè)詞意味著什么？

第一，我們要問(wèn)問(wèn)題。怎樣在聚焦的情況下，在有限的上下文中把問(wèn)題講清楚，讓AI能夠精準(zhǔn)回答——這是Prompt Engineering。

第二，ContextEngineering。當(dāng)上下文空間、模型的窗口擴(kuò)展以后，我們?cè)鯓幽軌蛉ヌ峁└浞帧⒏珳?zhǔn)的信息，讓模型完成更復(fù)雜的任務(wù)。

第三，Harness Engineering。隨著模型能力不斷提升，模型已經(jīng)不局限完成單輪任務(wù)、回答一個(gè)問(wèn)題，而是可以做一個(gè)小時(shí)級(jí)別以上的復(fù)雜任務(wù)。你怎樣讓它通過(guò)一個(gè)循環(huán)過(guò)程，不斷自我探索，最終完成。

1、2023：Prompt Engineering時(shí)代，4K上下文的局限

我們把時(shí)間回到2023年。

那個(gè)時(shí)間點(diǎn)，面對(duì)ChatGPT剛發(fā)布，我們有一個(gè)很困惑的地方：它只支持4K的上下文空間。在這樣的上下文空間，你能夠做的事情非常局限。你需要非常精妙地利用這個(gè)空間，把你的問(wèn)題提出來(lái)，把你的任務(wù)布置下去。

所以，那個(gè)時(shí)候我們一直強(qiáng)調(diào)怎樣做好PromptEngineering。本質(zhì)就是在有限的上下文空間中，怎樣更精準(zhǔn)地把問(wèn)題部署給模型，讓它完成。而且那個(gè)時(shí)候模型的智力是有限的，所以你怎樣適配模型對(duì)于Prompt的理解非常重要。

2、2024：Context Engineering時(shí)代，工具調(diào)用進(jìn)入上下文

時(shí)間來(lái)到2024年。那個(gè)時(shí)候各個(gè)模型的上下文窗口開(kāi)始擴(kuò)展了，從4K到32K到128K，甚至是1兆以上的上下文窗口。并且模型能力有一定提升以后，我們開(kāi)始嘗試讓模型不只是回答問(wèn)題，而是做一些更復(fù)雜的任務(wù)。

這個(gè)時(shí)候我們引入了上下文工程的概念。我們要把工具的調(diào)用聚焦到上下文空間中，讓模型給它足夠的信息和很好的組織，讓它利用外部信息，就可以讓模型完成更復(fù)雜的任務(wù)。這是這個(gè)階段我們聚焦的事情。

3、2026：Harness Engineering時(shí)代，小時(shí)級(jí)任務(wù)的拐點(diǎn)

隨著模型能力的不斷提升，我們看到一個(gè)拐點(diǎn)。

原來(lái)的模型能力有限，對(duì)于指令的遵循能力有限，對(duì)于理解一個(gè)長(zhǎng)任務(wù)能力有限，它能夠完成分鐘級(jí)別的任務(wù)——這個(gè)分鐘級(jí)別的任務(wù)通常在一個(gè)上下文空間中能夠表現(xiàn)清楚。

現(xiàn)在我們看到模型有充分能力可以做小時(shí)級(jí)別以上的任務(wù)。這個(gè)情況下，我們必須給模型一個(gè)更好的環(huán)境空間，讓它充分發(fā)揮自己的能力。

這個(gè)時(shí)間點(diǎn)，模型的局限已經(jīng)不再于模型能力本身，而是在于怎樣給它足夠好的空間讓它可以發(fā)揮。

這個(gè)情況我們思考怎樣構(gòu)造一個(gè)環(huán)境去驅(qū)動(dòng)它，讓它在閉環(huán)中自己解決問(wèn)題。這就是所謂的Harness Engineering。

聽(tīng)起來(lái)是很漂亮的詞，但所謂的Agent本質(zhì)上非常簡(jiǎn)單，其實(shí)就是一個(gè)循環(huán)。

對(duì)于代碼開(kāi)發(fā)人員就是一個(gè)while循環(huán)。這個(gè)模型沒(méi)有解決的時(shí)候，它自己探索下一步應(yīng)該做什么，自己決策下一步應(yīng)該做什么，然后執(zhí)行這個(gè)決策，然后看是不是達(dá)成結(jié)果。如果遇到了錯(cuò)誤，它想怎樣從錯(cuò)誤中恢復(fù)過(guò)來(lái)，是不是讓人介入解決這些問(wèn)題。最終看有沒(méi)有解決問(wèn)題——如果這個(gè)問(wèn)題已經(jīng)被解決，任務(wù)完成了就結(jié)束循環(huán)；如果沒(méi)有解決，繼續(xù)循環(huán)。

這就是Agent工程，它其實(shí)都在解決這一個(gè)問(wèn)題。

腳手架哲學(xué)：模型能力提升后及時(shí)撤掉

我們需要做的就是在這個(gè)循環(huán)內(nèi)更好地定義Agent框架，讓它在充分安全的環(huán)境中自由探索，并且讓它發(fā)現(xiàn)怎樣去解決，給它足夠好的工具，可以讓它去發(fā)揮。

所以，這三個(gè)概念，不是三個(gè)完全獨(dú)立的概念，其實(shí)是一個(gè)遞進(jìn)的概念，甚至是一個(gè)包含的概念。

現(xiàn)在整個(gè)Agent工程中，我們需要考慮怎樣設(shè)計(jì)好Prompt，讓它更清晰地讓模型理解用戶意圖。同時(shí)我們做好Context，把外部工具、更好的東西可以注入進(jìn)來(lái)、組織好，讓它充分理解。最終構(gòu)建一個(gè)更好的Harness，讓它以非常自信、非常自洽的方式來(lái)執(zhí)行。

前面生數(shù)科技創(chuàng)始人朱軍老師提到了Bitter Lesson的概念。

這是我們所有做模型的人一直思考的問(wèn)題：怎樣讓一個(gè)更通用的方式解決所有的問(wèn)題，而不是用人工的方式去適配、不斷去定義它。因?yàn)橥ǔ?lái)說(shuō)，隨著模型的不斷提升，那些人工的定義通常都會(huì)失效，甚至成為負(fù)擔(dān)。

所以，我們自己在做AI工程的時(shí)候也會(huì)思考這樣的問(wèn)題。

有一個(gè)誤區(qū)：我們需要精妙地設(shè)計(jì)一個(gè)框架來(lái)讓模型發(fā)揮得很好。但是實(shí)際上真正的過(guò)程并不是這樣。真正的過(guò)程是用模型的邊界、能力邊界來(lái)定義到底這個(gè)框架怎么實(shí)現(xiàn)。

在這個(gè)過(guò)程中，我們通常會(huì)這么使用：先構(gòu)建這樣的框架，讓模型開(kāi)始試探，發(fā)現(xiàn)能力邊界，發(fā)現(xiàn)有什么問(wèn)題。

當(dāng)它有問(wèn)題的時(shí)候，我們引入一些腳手架，這些腳手架可以讓它拔高一點(diǎn)，在現(xiàn)有能力下做超出它能力的事情。隨著模型不斷提升，這些腳手架及時(shí)撤掉，這樣它未來(lái)不會(huì)成為模型的累贅。

舉個(gè)例子。

2023年第一次發(fā)布Kimi的時(shí)候，模型不具備自主調(diào)用搜索引擎的能力。那個(gè)時(shí)間我們要引入一個(gè)小模型，一個(gè)我們精心訓(xùn)練的小模型，它只做一個(gè)事兒：比如我該調(diào)用什么搜索引擎，以及用什么搜索詞來(lái)搜。就是這樣的小模塊，讓模型在那個(gè)時(shí)間點(diǎn)不具備這個(gè)能力的時(shí)候，突破了一下。產(chǎn)品中呈現(xiàn)了這個(gè)功能，這個(gè)功能也受到用戶的歡迎。

隨著模型能力提升，我們觀察到，小模型已經(jīng)成為整個(gè)鏈路中的一個(gè)瓶頸。

因?yàn)橐粋€(gè)小模型，比如幾百兆或者1B的小模型，它的智力遠(yuǎn)遠(yuǎn)不如上TB的大模型的智力。它做一個(gè)前置判斷，可能會(huì)導(dǎo)致整個(gè)問(wèn)題的正確率成為所有人的瓶頸。

所以，開(kāi)發(fā)K2階段的時(shí)候，我們開(kāi)始思考：是不是應(yīng)該把這個(gè)拐杖撤掉？其實(shí)我們可以讓模型自主發(fā)揮，讓它自己想現(xiàn)在是不是調(diào)用這個(gè)工具，是不是調(diào)用這個(gè)搜索引擎，應(yīng)該怎么搜，搜多次還是一次，甚至利用搜索引擎的高級(jí)語(yǔ)法——應(yīng)該限定一個(gè)site還是怎么樣。

模型可以完成非常復(fù)雜的多輪搜索的任務(wù)，甚至解決人都不好解決的問(wèn)題。

這是一個(gè)非常重要的觀察，也是非常符合Bitter Lesson的原則。

Agent工程的四個(gè)核心原則

迭代這些AI工程的時(shí)候，我們也在思考。

這個(gè)范式非常簡(jiǎn)單：不管觀測(cè)當(dāng)前狀態(tài)下，這個(gè)模型有沒(méi)有解決問(wèn)題，去思考我應(yīng)該怎么解決這個(gè)問(wèn)題，去執(zhí)行，發(fā)現(xiàn)問(wèn)題以后怎樣給它錯(cuò)誤的回饋機(jī)制，最終不斷循環(huán)。

模型的能力是一個(gè)不斷涌現(xiàn)的過(guò)程。

我們沒(méi)法很早定義現(xiàn)在的狀態(tài)應(yīng)該用什么解決方案，甚至我理解對(duì)于整個(gè)世界最頭部的這些AI公司，他們也沒(méi)有正確答案。因?yàn)槟承┠芰κ堑胁粩嘤楷F(xiàn)出來(lái)的。

這個(gè)情況之下，我們不應(yīng)該限定框架應(yīng)該做什么，而是隨著模型的進(jìn)步，我們給它更好的助力，并且找到它當(dāng)下的邊界。

這也是我們自己做AI工程、做Agent工程的時(shí)候總結(jié)出來(lái)的原則：

第一，剛才提到Agent本質(zhì)就是一個(gè)很簡(jiǎn)單的東西，我們不要給它增加復(fù)雜性。

第二，怎樣把對(duì)的信息、合適的信息、更重要的信息放進(jìn)上下文，利用好這個(gè)窗口。這是它最重要的事情，是決定模型能力能不能發(fā)揮的事情。

第三，我們要很好地設(shè)計(jì)這些工具。所謂的工具對(duì)于模型來(lái)說(shuō)，就像編程中的接口設(shè)計(jì)一樣，需要足夠清晰，不能有歧義。否則這些工具，模型用不好，甚至還會(huì)給模型增加負(fù)擔(dān)。

第四，對(duì)于模型的記憶系統(tǒng)，它沒(méi)有完美的解決方案。因?yàn)槟Ｐ蜕舷挛目臻g有限，并且對(duì)于上下文空間的掌控能力也有限，所以，在一致性和創(chuàng)造性之間需要做一個(gè)權(quán)衡。這個(gè)過(guò)程中，可以選擇把所有的信息放在上下文中，讓它不斷自我發(fā)展；也可能引入一些壓縮的機(jī)制，包括總結(jié)的機(jī)制，或者是一些篩選的機(jī)制，讓它可以更精準(zhǔn)地去命中一些更重要的信息。這其實(shí)是我們?cè)趯?shí)踐中不斷探索的事情。

衡量Agent的價(jià)值：人類有多信任它

剛才提到Bitter Lesson，我們讓模型自由探索、自由試錯(cuò)、去反饋，基于反饋去不斷衍生、不斷自我成長(zhǎng)，會(huì)優(yōu)于我們用精妙的設(shè)計(jì)來(lái)預(yù)定好一個(gè)框架讓它去執(zhí)行。

最后一點(diǎn)，先做一個(gè)最好的閉環(huán)，讓模型先在閉環(huán)中跑起來(lái)，在這個(gè)過(guò)程中自然生長(zhǎng)，而不是預(yù)先思考怎樣構(gòu)造一個(gè)復(fù)雜系統(tǒng)。

這是我們做好Agent的過(guò)程中的核心思路。

我們衡量一個(gè)Agent的價(jià)值，不再是單次實(shí)踐能夠做出最強(qiáng)能力的東西，而是我們?nèi)祟愑袥](méi)有信任給它，讓它可以去做復(fù)雜的任務(wù)。

其實(shí)衡量一個(gè)模型的價(jià)值，人類越自信地可以放手讓它做，它的價(jià)值就更高。

這個(gè)過(guò)程中，我們?nèi)绾螛?gòu)建一個(gè)足夠好的環(huán)境，讓人類可以充分信任，模型可以充分發(fā)揮，并且不會(huì)搞砸事情，讓自我探索的能力發(fā)揮到極致——這就是我們認(rèn)為最有價(jià)值的Agent。

整個(gè)Agent工程中，核心解決這個(gè)問(wèn)題：如何讓人更加信任Agent去自由地發(fā)揮。

以上就是我們自己，無(wú)論是模型迭代還是AI工程迭代中，我們自己的思考。非常感謝大家！

“2026全球數(shù)字經(jīng)濟(jì)大會(huì)人工智能融合應(yīng)用發(fā)展論壇”由全球數(shù)字經(jīng)濟(jì)大會(huì)組委會(huì)主辦，北京市經(jīng)濟(jì)和信息化局、朝陽(yáng)區(qū)人民政府承辦，中關(guān)村科技園區(qū)朝陽(yáng)園管理委員會(huì)（北京市朝陽(yáng)區(qū)科學(xué)技術(shù)和信息化局）、北京數(shù)智云科信息科技有限公司、北京信息化協(xié)會(huì)、北京人工智能產(chǎn)業(yè)聯(lián)盟、北京數(shù)智聚聯(lián)企業(yè)管理有限責(zé)任公司協(xié)辦。

商務(wù)、媒體合作、文章轉(zhuǎn)載請(qǐng)加

yiyuguancha6