“打造一個有用的AI代理已屬不易,而要判斷它是否真正稱職,難度還要翻倍。”DoorDash推薦系統與搜索負責人Raghav Saboo的這句話,直接戳中了當前AI落地中的一個隱蔽困境——在真實商業場景里,模型能回答用戶的問題只是起點,更棘手的是系統性的質量驗證。圍繞著“知道它到底好不好”這個難題,DoorDash工程師團隊公開了其對話式助手“Ask DoorDash”的技術架構。它不只是把大語言模型裝進應用,而是在記憶、工具、評估三個層面架起了一套獨立于單模型的智能層。
Ask DoorDash能夠讓消費者通過自然語言交互去發現餐廳、規劃餐食,甚至一步步組建起雜貨購物車。表面看這是一個常見的聊天式導購,但關鍵的差異在于背后并不依賴大語言模型獨自完成所有推理。整個系統將編排邏輯與具體業務能力解耦:一個被稱為“Assistant Runtime”的運行時負責在不同專用AI代理之間調停,而共享的MCP(模型上下文協議)工具層則對外暴露搜索目錄、推薦、購物車、結賬、訂單歷史以及消費者記憶等一系列已有服務。DoorDash的設計意圖在于,業務邏輯不被硬編碼進提示語中,而是通過可復用的工具調用現有后端能力,從而讓多個AI交互界面可以在共享集成的基礎上獨立演進。
![]()
這意味著,當用戶說“幫我配一桌適合素食朋友的晚宴”時,系統調用的不是一套固化的提示流程,而是按需組合目錄搜索、偏好記憶和推薦等多個工具。這樣做既避免了把復雜商業規則塞入脆弱的文本提示中,也使得后端微服務和AI體驗各自可以獨立迭代。DoorDash公布的數據也表明,這種架構能夠支撐住生產環境中的實際表現。一項為期七天的評估顯示,當系統利用計算出的消費者記憶后,雜貨結賬轉化率提升了約24%,購物籃大小增加了17%,而完成同一任務所需的對話輪次減少了7%。在餐廳發現這一類開放式查詢場景中,采用記憶加持的助手獲得了高出15%的轉化率。
這套記憶系統正是DoorDash在個性化上埋設的“智能層”。它不是簡單的歷史記錄堆疊,而是被拆分為三個并行運轉的記憶單元。長期記憶以離線方式從消費者歷史行為中生成,捕獲最愛的菜系、飲食限制等穩定偏好;會話記憶則在一次交互過程中動態維持對話上下文;代理記憶專門存儲消費者直接給出的明確信息,比如“我是素食者”。當用戶發起一次新的詢問,相關的記憶會被系統從這幾個池子中檢索出來,向模型注入更準確的上下文,而不是讓模型在每一次對話中從頭猜測用戶是誰。
記憶帶來的效果直接體現在商業指標上,但讓DoorDash工程師更興奮的或許是他們對“好”這件事終于有了可量化的抓法。為了系統性驗證AI代理在生產環境中的行為,團隊搭建了一套自動化評估框架。該框架利用LLM生成的虛擬用戶和錄制好的工具夾具來模擬有狀態的客戶對話,并在完全鏡像生產運行時的環境中獨立地評估編排、護欄和領域代理。這樣一來,每次模型或系統變更不再需要依賴零散的手工測試,而是由超過2000次自動化評估給出每日質量分數。
這套評估流水線帶來的效率提升同樣顯著。DoordDash報告稱,平臺上線后質量評分提升了8分,回歸測試耗時從6小時驟降至20分鐘。更重要的是,它還承擔了一次關鍵模型遷移的驗證工作:在確保質量不降的前提下,新模型將延遲降低了35%。這種快速驗證能力使得團隊能夠以更短的周期迭代系統,而不必擔心“悄悄變差”。Saboo那句關于判斷代理好壞更難的說法,在這里找到了一個工程上的回應——用自動生成的用戶和固定場景把主觀感受變成可復現的計量。
而在整個Ask DoorDash的運轉鏈路中,業務邏輯與對話編排的分離也再次強化了穩定性。當訂單歷史、購物車結賬等服務作為工具暴露在MCP層時,每個AI代理對工具的調用都走過了校驗和限流,對后端系統的沖擊被控制在可預期范圍內。反過來,底下的目錄搜索或者推薦引擎升級時,也不需要讓對話層重新訓練或者重寫提示,工具接口保持穩定即可。這種分層帶來的一個直接好處是,DoorDash可以在餐廳發現、雜貨購物等多個場景中復用同一套記憶和評估基礎設施,而不必為每一個功能重起爐灶。
從更長遠的視角看,Ask DoorDash的實踐暗示了一個正在成型的范式:當企業把大語言模型部署到核心業務流中,最大的工程挑戰已經不是讓模型能對話,而是如何構建模型之外的系統性能力。記憶管理決定了個性化的精度,工具層決定了業務融合的深度,自動化評估則決定了迭代的速率。這三個要素疊加起來,才讓一個聊天窗口真正成為可靠的生產力入口。DoorDash用提升24%的結賬轉化率、35%的延遲削減這樣的數字,為這一判斷提供了具體注腳。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.