![]()
作者 | Sergio De Simone
譯者 | 明知山
Datadog 工程師 Arnold Wakim 近期發(fā)表了一篇文章,分享了他們使用 AI 迭代一個核心生產(chǎn)系統(tǒng)的經(jīng)歷,包括他們踩過的坑以及總結(jié)出的經(jīng)驗(yàn)教訓(xùn)。該系統(tǒng)借助 AI 突破了存儲后端的硬性性能瓶頸,顯著提升了性能。
Stream Router 是一個用于管理指標(biāo)管道路由的 API,初始版本基于鍵值模型構(gòu)建,采用最終一致性架構(gòu)。然而,隨著路由表不斷擴(kuò)展,KV 數(shù)據(jù)庫開始觸及事務(wù)容量上限,高負(fù)載操作性能大幅衰減,因數(shù)千次串行往返請求,單次耗時最長可達(dá) 45 分鐘。
在 KV 模型中,程序需要自行重建數(shù)據(jù)關(guān)聯(lián)關(guān)系。程序會將數(shù)萬個條目拉取到 Pod 進(jìn)程中,并在進(jìn)程內(nèi)部模擬實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫的能力——處理本應(yīng)由關(guān)系系統(tǒng)中外鍵強(qiáng)制執(zhí)行的邏輯。
為了解決這個問題,Datadog 的工程師們重新設(shè)計(jì)了模型,用外鍵取代之前需要在應(yīng)用代碼中重建的邏輯。新的模型設(shè)計(jì)完成后,他們重構(gòu)了整個代碼庫,完成從舊模型到新模型的遷移,為此他們借助了 AI:
我們借助 Claude 與 Cursor 工具加快了整個基于測試驅(qū)動的系統(tǒng)化重構(gòu)過程。這兩款工具并不能自主生成完整可用的代碼:針對每一個方法,我們都會提供原有實(shí)現(xiàn)、新的數(shù)據(jù)結(jié)構(gòu)以及一條失敗測試用例。大模型會先輸出一版初稿代碼,再由測試用例校驗(yàn)代碼邏輯是否正確。
Wakim 表示,此次遷移能夠順利完成離不開三個關(guān)鍵要素:高度模塊化的代碼架構(gòu)使得新的 Stream Router 可以在 PostgreSQL 上實(shí)現(xiàn)相同的 API,而無需修改其他部分;完備的測試用例為每次 AI 生成的變更提供了明確的通過 / 失敗標(biāo)準(zhǔn);并行部署基礎(chǔ)設(shè)施可讓兩個獨(dú)立的 Stream Router 實(shí)例并排運(yùn)行,處理相同的請求,同時通過功能開關(guān)控制客戶端流量在兩者之間切換:
每個集群內(nèi)部都部署了獨(dú)立的校驗(yàn)服務(wù),該服務(wù)會定期對比兩個系統(tǒng)之間的路由響應(yīng),一旦出現(xiàn)不一致,會立即向團(tuán)隊(duì)發(fā)送告警。
遷移分為三個階段:首先,使用 Claude 描述每個關(guān)鍵函數(shù)的意圖;其次,通過提供預(yù)期行為以及上一步的上下文,編寫有針對性的提示詞來修復(fù)失敗的測試;最后,使用藍(lán)綠部署方案上線到生產(chǎn)環(huán)境,新的 PostgreSQL 后端和現(xiàn)有的 FoundationDB 后端 Stream Router 并行運(yùn)行,并持續(xù)進(jìn)行比較。
Wakim 也指出了這套方案的一些不足之處,包括高層級提示詞的效果有限,以及 Claude 傾向于生成邏輯正確但性能欠佳的查詢:
像批處理、UNNEST 技巧、公用表表達(dá)式(CTE)等小眾優(yōu)化需要人工輸入。AI 生成的查詢返回了正確的結(jié)果,但產(chǎn)生了大量不必要的網(wǎng)絡(luò)往返請求。我們自己編寫了優(yōu)化版本,一旦大模型見過這種模式后就能在后續(xù)方法中復(fù)現(xiàn)。但大模型無法獨(dú)立發(fā)現(xiàn)這些模式,盡管這些模式在文獻(xiàn)中已經(jīng)存在。
另一個問題是詞元消耗量過高,造成該問題的原因有兩點(diǎn):一是向大模型輸入完整的測試輸出日志,而非精簡后的片段;二是整個流程需要反復(fù)傳入測試輸出、代碼上下文與表結(jié)構(gòu)信息,造成多次迭代循環(huán)。
遷移完成后,操作時間從 45 分鐘降至約 1 秒,延遲從數(shù)百毫秒降至僅幾毫秒。數(shù)據(jù)存儲占用空間最高縮減至原先的 1/40,而 PostgreSQL 和 DuckDB 簡化了關(guān)系處理并提高了查詢效率。CPU 和內(nèi)存使用率下降,數(shù)據(jù)庫成本降低了 90%。
Wakim 總結(jié)道,Datadog 使用 Claude 進(jìn)行遷移的關(guān)鍵成功因素是完備的測試套件,這最終決定了他們能在多大程度上信任 AI 生成的代碼。
查看英文原文:
https://www.infoq.com/news/2026/07/datadog-ai-production-migration/
會議推薦
年中技術(shù)充能,盛夏 8 折赴約!AICon 深圳站集結(jié)華為、騰訊、阿里等全明星講師陣容,前沿方向 + 實(shí)戰(zhàn)干貨雙在線,承包你一夏的 AI 技術(shù)成長。大會限時早鳥票享 8 折專屬優(yōu)惠,現(xiàn)在報(bào)名立減 1160,更多詳情可掃碼或聯(lián)系票務(wù)經(jīng)理 13269078023 進(jìn)行咨詢。
今日薦文
你也「在看」嗎?
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.