HubSpot 如何將語義搜索擴(kuò)展至 200 億個(gè)向量

作者 | Matt Saunders

譯者 | 平川

SaaS 軟件供應(yīng)商 HubSpot詳細(xì)介紹 了其語義搜索平臺(tái)如何從概念驗(yàn)證發(fā)展成為一項(xiàng)內(nèi)部服務(wù)。目前，該服務(wù)管理著超過 38 個(gè)團(tuán)隊(duì)的 200 多億個(gè)向量。該公司表示，該系統(tǒng)目前支持代理、RAG 以及聯(lián)系人去重功能，而且隨著代理使用量的增加，檢索質(zhì)量和延遲問題變得比以往更加重要。

HubSpot 網(wǎng)站上的這篇 博文 解釋說，該平臺(tái)名為 VaaS（向量即服務(wù)），位于 Qdrant 之前，提供訪問控制、嵌入向量生成、數(shù)據(jù)版本控制和反饋收集等功能。HubSpot 表示，選擇 Qdrant 是因?yàn)樗С直镜夭渴穑邆涿蛄俊⒒旌纤阉鳌⒍嚯A段查詢和加權(quán)重新排序等功能，并提供包括量化處理和磁盤存儲(chǔ)在內(nèi)的成本控制措施。

HubSpot 還表示，該公司選擇在內(nèi)部運(yùn)行 Qdrant，是因?yàn)檫@樣既能與內(nèi)部的追蹤、成本監(jiān)控、速率限制、擴(kuò)展和安全工具集成，又能對(duì)客戶數(shù)據(jù)保持控制權(quán)。該公司稱，當(dāng)前的平臺(tái)涵蓋 200 多個(gè)索引、140 多個(gè)集群、5 個(gè)區(qū)域和 2 個(gè)環(huán)境，峰值寫入流量可達(dá)每秒 10 萬次請(qǐng)求。

在該博文中，Oleg Tereshin 和 Xin Liu 寫道，早期的架構(gòu)是基于 Helm 構(gòu)建的，而且消費(fèi)者數(shù)量比較少，但隨著集群規(guī)模的擴(kuò)大，手動(dòng)管理變得越來越困難。他們表示，團(tuán)隊(duì)轉(zhuǎn)而采用內(nèi)部的 Kubernetes Operator 框架，因?yàn)?Helm 無法進(jìn)行 API 調(diào)用以及根據(jù)外部指標(biāo)自動(dòng)擴(kuò)展，也無法處理更復(fù)雜的、具有狀態(tài)感知能力的生命周期任務(wù)。

手動(dòng)運(yùn)維無法適應(yīng)業(yè)務(wù)增長。 —— Oleg Tereshin 和 Xin Liu

這一舉措將集群管理轉(zhuǎn)移到了 HubSpot 所稱的 Translators 上。該組件每 60 秒會(huì)將系統(tǒng)目標(biāo)狀態(tài)與實(shí)際狀態(tài)進(jìn)行一次同步。該文指出，如今這種方法已經(jīng)實(shí)現(xiàn)了集群創(chuàng)建與退役、分片遷移以及復(fù)制恢復(fù)的自動(dòng)化，減輕了團(tuán)隊(duì)的運(yùn)維負(fù)擔(dān)。

其他向量搜索系統(tǒng)也面臨著同樣的壓力。Qdrant 自身的 大規(guī)模指南 側(cè)重于對(duì)數(shù)億個(gè)向量進(jìn)行調(diào)優(yōu)，同時(shí)將延遲和準(zhǔn)確率保持在生產(chǎn)環(huán)境可接受的范圍內(nèi)，這印證了 HubSpot 的觀點(diǎn)：規(guī)模化既關(guān)乎運(yùn)營，也關(guān)乎檢索質(zhì)量。

其他從業(yè)者也得出了類似的經(jīng)驗(yàn)教訓(xùn)。在 LinkedIn 上的一篇博文中，Pinecone 描述 了向量規(guī)模從 4000 萬躍升至 6 億的過程，建議必須保持高召回率，將存儲(chǔ)與計(jì)算分離，并將可靠性視為一項(xiàng)功能。而另一篇關(guān)于向量搜索的生產(chǎn)實(shí)踐總結(jié)則建議采用版本化索引及過濾感知設(shè)計(jì)，并仔細(xì)監(jiān)控召回率和延遲。

召回率至上。 ——Pinecone 發(fā)表在 LinkedIn 的博文

這些主題與 HubSpot 所強(qiáng)調(diào)的平衡分片放置、避免內(nèi)存偏斜以及利用自動(dòng)化控制運(yùn)維工具相契合。該公司表示，某些數(shù)據(jù)集包含數(shù)十億個(gè)數(shù)據(jù)點(diǎn)，即使只有一個(gè)分片失衡，也可能迫使集群在真正需要之前就進(jìn)行擴(kuò)展。

HubSpot 還表示，這一轉(zhuǎn)變將集群啟動(dòng)時(shí)間從數(shù)小時(shí)縮短至數(shù)分鐘，并消除了對(duì)備用集群的需求。該公司補(bǔ)充道，如今，同一套對(duì)賬模型可以同時(shí)處理水平擴(kuò)展、分片再平衡和復(fù)制恢復(fù)，這使得平臺(tái)在需求增長時(shí)更易于運(yùn)維。

在向量搜索市場中，這種趨勢(shì)廣泛存在：各團(tuán)隊(duì)正越來越多地設(shè)法在不犧牲性能的前提下簡化檢索系統(tǒng)。InfoQ 最近報(bào)道了 OpenSearch、 PlanetScale 和 AlloyDB 在向量搜索方面的更新。這些更新都指向同一個(gè)需求：開發(fā)者希望在數(shù)據(jù)附近實(shí)現(xiàn)語義檢索，并且能夠擁有足夠的控制權(quán)來調(diào)整成本和延遲。

對(duì)于 HubSpot 而言，關(guān)鍵不在于向量技術(shù)本身是個(gè)新事物，而在于其周邊基礎(chǔ)設(shè)施現(xiàn)在必須像一個(gè)成熟的平臺(tái)服務(wù)那樣運(yùn)行。該文明確指出，一旦檢索成為多種 AI 產(chǎn)品的核心，數(shù)據(jù)庫本身就只是問題的一部分。更艱巨的任務(wù)是圍繞它構(gòu)建足夠的自動(dòng)化機(jī)制，確保在需求持續(xù)增長的情況下保持系統(tǒng)穩(wěn)定。

https://www.infoq.com/news/2026/07/hubspot-semantic-vector-search/

聲明：本文由 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。