企業(yè)智能體部署太多坑了！亞馬遜云科技甩出一部“防坑指南”

智東西
作者 ZeR0
編輯 漠影

智東西7月14日報道，在近期舉行的亞馬遜云科技2026中國峰會上，亞馬遜全球副總裁、亞馬遜云科技亞太區(qū)聯(lián)席總裁儲瑞松談道，Agentic AI迎來爆發(fā)拐點，AI正從輔助工具轉(zhuǎn)變?yōu)橹苯咏桓犊珊饬繕I(yè)務(wù)結(jié)果的生產(chǎn)力。

為幫助企業(yè)推動Agent從原型走向?qū)嶋H生產(chǎn)，亞馬遜云科技在峰會上發(fā)布《企業(yè)生產(chǎn)級智能體開發(fā)部署指南》，向企業(yè)提供從理論到實踐的系統(tǒng)工程指導(dǎo)。

據(jù)行研機構(gòu)預(yù)測，到2027年底將有超過四成的Agentic AI項目面臨被取消的風(fēng)險；MIT調(diào)研顯示，僅約5%的組織報告生成式AI項目取得高回報。這些數(shù)據(jù)都指向Agent落地難的問題，成本攀升、業(yè)務(wù)價值不清晰、風(fēng)險管控不足等挑戰(zhàn)，導(dǎo)致大量項目無法邁向?qū)嶋H生產(chǎn)階段，企業(yè)級Agent開發(fā)部署需要新的評估測試方法。

儲瑞松在峰會演講中提到企業(yè)在構(gòu)建AI Agent時，底層技術(shù)平臺可以通過采購獲得，但評估標(biāo)準(zhǔn)必須由企業(yè)自主掌控。企業(yè)的核心競爭壁壘在于其自有的黃金數(shù)據(jù)集和評分標(biāo)準(zhǔn)。只有掌握了評估，才真正掌握了Agent生命周期的核心。

在亞馬遜云科技團隊看來，只有將評估確立為一切工程實踐的起點，才能為Agent的落地與規(guī)?；渴鹛峁╆P(guān)鍵支撐，并確保Agent在復(fù)雜多變的業(yè)務(wù)場景中安全、穩(wěn)定、可靠地交付可衡量的商業(yè)價值。

為此，亞馬遜云科技《企業(yè)生產(chǎn)級智能體開發(fā)部署指南》通過四大核心板塊，系統(tǒng)性地為企業(yè)提供了可落地的工程路徑，以幫助企業(yè)加速實現(xiàn)Agentic業(yè)務(wù)轉(zhuǎn)型。

一、傳統(tǒng)軟件評估方法，為何對Agent失效？

真實業(yè)務(wù)環(huán)境中的智能體系統(tǒng)充滿不確定性，用戶意圖可能模糊，工具調(diào)用可能失敗，業(yè)務(wù)規(guī)則與外部知識可能持續(xù)變化，模型、提示詞、工具鏈和編排邏輯的調(diào)整都可能改變系統(tǒng)行為。

很多團隊都經(jīng)歷過Agent Demo效果很好，但接入真實場景后卻失效的問題。其根源在于Agent與傳統(tǒng)軟件在技術(shù)底座上三個本質(zhì)差異：

首先是非確定性。傳統(tǒng)軟件的運行邏輯是確定性的，有一套明確的對錯標(biāo)準(zhǔn)。而Agent基于大模型運行，輸出具有概率性，同樣輸入不一定能產(chǎn)生相同輸出，昨天通過測試，不意味著今天依然穩(wěn)定。目前沒有任何主流模型提供商承諾完全確定性的輸出。

其次，改了提示詞就是改了代碼。在傳統(tǒng)軟件里，改代碼會留痕，但提示詞不會。修改一段系統(tǒng)提示詞后，可能只是加句話，Agent的行為已經(jīng)發(fā)生根本性的變化，而且沒有任何靜態(tài)分析工具能提前進行影響評估。因此每次提示詞變更都必須有配套的評估來量化影響。

最后是依賴會自己漂移。傳統(tǒng)軟件的依賴是鎖定的，升級會發(fā)生什么可預(yù)期。模型是隱式依賴，而且會自己更新。模型提供商的后臺悄悄升級，可能會導(dǎo)致Agent服務(wù)質(zhì)量在代碼無變動的情況下產(chǎn)生變化。如果沒有持續(xù)的評估基線，這種漂移幾乎不會被及時發(fā)現(xiàn)。

亞馬遜云科技團隊將這定義為一個“工程紀(jì)律”問題，評估則是承載一切工程實踐的地基。

二、Agent開發(fā)生命周期方法論：六環(huán)飛輪取代線性流水線

在《企業(yè)生產(chǎn)級智能體開發(fā)部署指南》中，亞馬遜云科技提出為智能體量身設(shè)計的開發(fā)生命周期——ADLC（Agent開發(fā)生命周期方法論），并將企業(yè)Agentic開發(fā)歸納為三類工程實踐：把評估跑起來、讓數(shù)據(jù)持續(xù)流入評估、讓系統(tǒng)架構(gòu)可被評估。

傳統(tǒng)軟件開發(fā)是線性的：需求→設(shè)計→開發(fā)→測試→上線。但這套邏輯對Agent不成立，因為Agent在生產(chǎn)環(huán)境里的每次對話都是關(guān)于真實行為的寶貴數(shù)據(jù)。

而ADLC以評估驅(qū)動，將流程劃分為“定標(biāo)準(zhǔn)、開發(fā)實現(xiàn)、效果評估、灰度上線、持續(xù)監(jiān)控和改進循環(huán)”六個步驟，幫助企業(yè)構(gòu)建起首尾相連的閉環(huán)，實現(xiàn)Agent表現(xiàn)的持續(xù)迭代與優(yōu)化。

與傳統(tǒng)軟件開發(fā)流水線不同的是，在ADLC中，“生產(chǎn)”不是流程終點，而是飛輪最富價值的輸入，每個生產(chǎn)中暴露的真實失敗案例都比會議室里預(yù)設(shè)的測試用例更有價值，評估集因此會隨生產(chǎn)數(shù)據(jù)持續(xù)生長。生產(chǎn)Trace還可沉淀為評估數(shù)據(jù)，進而成為微調(diào)訓(xùn)練數(shù)據(jù)，形成復(fù)利回報。

在這套方法論中，“定義好”必須排在構(gòu)建之前，就像蓋樓前要先出圖紙。啟動一個Agent項目應(yīng)產(chǎn)出四個具體交付物：Agent能力邊界的清晰定義、Agent的語氣與個性、每個工具與參數(shù)的精確描述、覆蓋常見與邊緣情況的基準(zhǔn)數(shù)據(jù)集。其中，基準(zhǔn)數(shù)據(jù)集是整個評估體系的“燃料”，是啟動前就要準(zhǔn)備好的基礎(chǔ)設(shè)施。

三、避開Agent就緒三大誤區(qū)，沉淀出3 x 3矩陣評估方法論

團隊誤判Agent已上線就緒，有三個典型的坑：只關(guān)注Agent準(zhǔn)確率指標(biāo)、用預(yù)期工具調(diào)用序列做精確匹配、先評估后觀測。

在與企業(yè)客戶合作的實踐中，亞馬遜云科技沉淀出一套“兩支柱+三類打分器”的評估方法論。

兩根支柱互相正交，像一個3 x 3矩陣。支柱一（三種評估粒度）包括黑盒/玻璃盒/白盒，決定評估粒度有多深——黑盒只看最終響應(yīng)、玻璃盒看完整執(zhí)行軌跡、白盒看單步調(diào)用；支柱二（三層證據(jù)權(quán)重）決定每個分數(shù)有多大分量，第一層機械可驗證、第二層半客觀、第三層主觀。

三類打分器與三層證據(jù)權(quán)重對齊：第一層用代碼規(guī)則，凡是能寫成代碼斷言的絕不交給評判模型；第二層用經(jīng)校準(zhǔn)的LLM-as-a-Judge，只管主觀維度，且評分標(biāo)準(zhǔn)必須由領(lǐng)域?qū)＜覍懗鰜怼⒃賹φ杖斯?biāo)注驗證一致率；第三層人工負責(zé)抽檢和最終仲裁。

矩陣搭好了，企業(yè)需要測什么？

《企業(yè)生產(chǎn)級智能體開發(fā)部署指南》指出了企業(yè)評估Agent時應(yīng)覆蓋的“八類測量維度”，并提出一套由評估粒度與證據(jù)權(quán)重組成的量化評估框架，確保評估結(jié)果科學(xué)可信。

選指標(biāo)，就是在矩陣上為業(yè)務(wù)挑格子。

比如，一個問答智能體不需要盯工具與動作正確性，一個不直接面客的內(nèi)部智能體可以放低對品牌語調(diào)的要求。

在一致性方面，需要區(qū)分兩個指標(biāo)：pass@k是k次里至少1次成功的概率，適合一次成功就夠的場景；pass^k是k次全部成功的概率，適合一致性至關(guān)重要的智能體。

該指南還討論了LLM-as-a-Judge的價值與邊界，并引入Agent-based Evaluation將專家級評審規(guī)模化。

四、把圖紙蓋成樓：三層評估庫、四步工作流與三個生產(chǎn)級實例

自2025年起，亞馬遜內(nèi)部已構(gòu)建數(shù)千個生產(chǎn)級Agent，沉淀出“自動化評估工作流+三層評估庫”框架（底層評模型選型、中層評意圖/記憶/推理/工具等組件、上層評端到端結(jié)果），核心子集已產(chǎn)品化為Bedrock AgentCore Evaluations的14個內(nèi)置評估器，與Observability、Optimization形成閉環(huán)。

其Agentic AI評估框架不僅提供了一套能夠自動分析Agent決策過程與執(zhí)行軌跡的自動化評估工作流，還包括一個覆蓋底層大模型、中間核心組件到最終業(yè)務(wù)結(jié)果的“三層指標(biāo)評估庫”，把評估拆到組件粒度，從而能在出錯時快速定位根因。

這套方法論能夠幫助企業(yè)在日常Agent開發(fā)中無縫嵌入評估機制，讓針對Agent表現(xiàn)的“可觀測、評估、優(yōu)化”的反饋形成可持續(xù)改進的閉環(huán)。

《企業(yè)生產(chǎn)級智能體開發(fā)部署指南》剖析了三個不同維度的亞馬遜內(nèi)部生產(chǎn)級實踐案例，并附帶了已在開源社區(qū)發(fā)布、可快速上手的動手實驗代碼與模擬項目評估集，為企業(yè)提供具體落地的參考路徑。

（1）購物助手（工具使用評估）： 對接成百上千API和Web服務(wù)，schema定義差會直接導(dǎo)致選錯工具、推高延遲成本。解法是跨組織schema治理規(guī)范→LLM驅(qū)動的API自助接入（數(shù)月壓縮為自動流程）→基于歷史調(diào)用日志的回歸測試。

（2）客服Agent（意圖檢測評估）： 意圖識別錯會級聯(lián)出路由錯誤與體驗崩塌。評估數(shù)據(jù)靠兩條腿：一是匿名化歷史交互構(gòu)造“用戶查詢+期望意圖”的真值對，二是LLM模擬器扮演虛擬客戶批量生成長尾場景，以低成本把評估集擴展到“真實可能發(fā)生的”。

（3）賣家助手（多Agent協(xié)作評估）： Planner-Specialist模式下，除個體指標(biāo)外，還需評規(guī)劃得分、通信效率、協(xié)作成功率。多Agent交互可能產(chǎn)生設(shè)計者沒預(yù)料到的行為模式，因此HITL在多Agent場景是必選項，承擔(dān)起人工指標(biāo)難以替代把關(guān)職責(zé)。

結(jié)語：建立Agent工程紀(jì)律已是不可回避的課題

《企業(yè)生產(chǎn)級智能體開發(fā)部署指南》分享的方法論已經(jīng)在亞馬遜云科技多家行業(yè)客戶企業(yè)中得到應(yīng)用，并成功幫助企業(yè)突破了原型驗證的瓶頸，實現(xiàn)了Agent在真實業(yè)務(wù)場景中的穩(wěn)定運行與價值變現(xiàn)。

亞馬遜云科技認為，在模型能力被快速商品化的當(dāng)下，真正構(gòu)成企業(yè)長期差異化的，是一套貼合業(yè)務(wù)、沉淀真實生產(chǎn)Trace、校準(zhǔn)過評判器、顯式管理證據(jù)權(quán)重與漂移的評估體系。這套體系既要評估最終答案是否正確，又要觀察中間推理、工具調(diào)用、責(zé)任合規(guī)、延遲、成本和用戶體驗等關(guān)鍵維度。

對于期望加速業(yè)務(wù)轉(zhuǎn)型、構(gòu)建核心競爭壁壘的企業(yè)決策者而言，建立科學(xué)的Agent工程紀(jì)律已成為當(dāng)前不可回避的課題。未來Agentic AI的能力邊界仍將快速擴展，構(gòu)建邊界清晰的評估體系能夠讓企業(yè)更有信心、更穩(wěn)健地將智能體引入生產(chǎn)系統(tǒng)，實現(xiàn)價值轉(zhuǎn)化。