告別碎片化記憶：中科院開源輕量級(jí)內(nèi)存原生Agent記憶系統(tǒng)Mandol

隨著 LLM Agent 在智能客服、個(gè)人助理、社交陪伴和醫(yī)療輔助等場(chǎng)景中的應(yīng)用拓展，其交互模式正從單輪問答走向長(zhǎng)周期、多任務(wù)的持續(xù)協(xié)作。

在這一過程中，Agent 的記憶模塊不僅需要存儲(chǔ)跨會(huì)話、多類型的信息，如對(duì)話內(nèi)容、用戶意圖、實(shí)體狀態(tài)和事件脈絡(luò)，還需要在復(fù)雜查詢中提供準(zhǔn)確、可追溯且低延遲的證據(jù)支撐。

然而，當(dāng)前主流記憶系統(tǒng)通常依賴向量數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù)和關(guān)系型存儲(chǔ)的異構(gòu)組合，容易造成記憶表示碎片化、跨庫(kù)查詢開銷高；同時(shí)，其檢索機(jī)制多采用 RAG 式的被動(dòng)相似度匹配，容易引入噪聲、遺漏關(guān)聯(lián)線索且缺乏 Token 預(yù)算控制，導(dǎo)致檢索質(zhì)量不穩(wěn)定。

針對(duì)這些挑戰(zhàn)，中國(guó)科學(xué)院軟件研究所等機(jī)構(gòu)的研究團(tuán)隊(duì)提出了 Mandol：一種凝聚式內(nèi)存原生分層記憶系統(tǒng)，其核心思想是將碎片化的記憶表示與異構(gòu)存儲(chǔ)凝聚為統(tǒng)一的內(nèi)存原生架構(gòu)。

• 論文標(biāo)題：Mandol: An Agglomerative Agent Memory System for Long-Term Conversations
• arXiv 論文鏈接：https://arxiv.org/pdf/2606.29778
• 項(xiàng)目地址：https://github.com/AgentCombo/Mandol

Mandol 通過分層記憶模型、統(tǒng)一內(nèi)存語義數(shù)據(jù)結(jié)構(gòu)和智能量化檢索機(jī)制三方面協(xié)同設(shè)計(jì)，將碎片化的記憶表示與存儲(chǔ)凝聚為統(tǒng)一架構(gòu)，為 Agent 提供兼顧表示能力、檢索效率與上下文質(zhì)量的記憶底座。

在 LoCoMo 和 LongMemEval 兩項(xiàng)公開長(zhǎng)對(duì)話記憶評(píng)測(cè)基準(zhǔn)上，Mandol 在所比較的代表性開源記憶系統(tǒng)中取得最優(yōu)總體準(zhǔn)確率；在以 GPT-4.1-mini 作為回答生成模型的設(shè)置下，其整體準(zhǔn)確率分別達(dá)到 92.21% 和 88.40%。在 10 QPS（即每秒接收 10 個(gè)查詢請(qǐng)求）并發(fā)負(fù)載下，Mandol 的平均檢索延遲為 82.2 ms，相比最快基線實(shí)現(xiàn)約 5.4 倍加速；平均插入延遲為 39.7 ms，相比最快基線實(shí)現(xiàn)約 4.8 倍加速。并且，在消費(fèi)級(jí)筆記本硬件上，Mandol 的延遲仍低于現(xiàn)有系統(tǒng)，展現(xiàn)出優(yōu)異的端側(cè)部署潛力。

從「碎片化存儲(chǔ)」到「被動(dòng)檢索」：核心瓶頸在哪里？

實(shí)際應(yīng)用中，Agent 面臨的記憶查詢復(fù)雜且多樣，從簡(jiǎn)單的事實(shí)提取到需要多跳推理的復(fù)雜問題。尤其是以下三類查詢，對(duì)記憶系統(tǒng)帶來了嚴(yán)重挑戰(zhàn)：

強(qiáng)時(shí)序性檢索：如「去年暑假我去北歐旅行期間訂了哪些酒店，總花費(fèi)多少？」，系統(tǒng)需精準(zhǔn)回溯用戶在不同城市的多次住宿記錄、準(zhǔn)確關(guān)聯(lián)時(shí)間與花費(fèi)信息，并進(jìn)行匯總。這要求系統(tǒng)具備對(duì)長(zhǎng)周期內(nèi)多個(gè)時(shí)序事件的精確提取與聚合能力。

跨會(huì)話多跳推理：如用戶在一次會(huì)話中提及「我對(duì)海鮮過敏」，幾天后又在另一會(huì)話中描述「吃完晚飯后皮膚起了大片紅疹」。系統(tǒng)需將過敏史與當(dāng)前癥狀進(jìn)行跨會(huì)話的邏輯拼接與推理，得出可能的過敏反應(yīng)結(jié)論，而非孤立地檢索關(guān)鍵詞。

動(dòng)態(tài)狀態(tài)更新與去噪：如用戶的購(gòu)房偏好從「郊區(qū)大戶型」變更為「市區(qū)學(xué)區(qū)房」。系統(tǒng)必須準(zhǔn)確跟蹤狀態(tài)變化，在回答「根據(jù)我的最新需求推薦幾個(gè)樓盤」時(shí)僅依據(jù)最新約束條件，自動(dòng)覆蓋陳舊偏好，避免對(duì)當(dāng)前決策的干擾。

面對(duì)上述需求，當(dāng)前主流 Agent 記憶系統(tǒng)（如 Mem0、Zep、MemOS 等）在架構(gòu)和檢索機(jī)制上存在三個(gè)主要問題。

第一，記憶信息難以統(tǒng)一表示。向量嵌入支持語義相似性匹配，卻難以顯式表達(dá)邏輯結(jié)構(gòu)與時(shí)序關(guān)系；知識(shí)圖譜擁有結(jié)構(gòu)化表達(dá)能力，但其固定模式對(duì)動(dòng)態(tài)語義和演化支持不足。二者缺乏統(tǒng)一表征框架，導(dǎo)致記憶信息分散在不同結(jié)構(gòu)中，查詢時(shí)難以獲得完整視圖。

第二，跨庫(kù)查詢開銷大。復(fù)雜的混合查詢需要在向量數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù)和其他存儲(chǔ)之間進(jìn)行跨庫(kù)編排，會(huì)產(chǎn)生高昂的序列化與 I/O 開銷，難以滿足低延遲交互要求。

第三，查詢精度與 Token 消耗難以兼顧。傳統(tǒng) RAG 式「被動(dòng)相似度匹配」檢索存在兩個(gè)突出問題：檢索結(jié)果易引入噪聲、沖突或遺漏多跳推理線索；Token 消耗缺乏有效約束，簡(jiǎn)單查詢可能浪費(fèi)上下文窗口，復(fù)雜查詢的關(guān)鍵證據(jù)鏈卻常因截?cái)喽鴣G失。

Mandol 的三項(xiàng)核心設(shè)計(jì)：表示、存儲(chǔ)與檢索的一體化設(shè)計(jì)

針對(duì)上述挑戰(zhàn)，Mandol 從記憶模型、存儲(chǔ)架構(gòu)和檢索機(jī)制三個(gè)維度進(jìn)行了系統(tǒng)性設(shè)計(jì)。

設(shè)計(jì)一：分層記憶模型 —— 以結(jié)構(gòu)化語義圖實(shí)現(xiàn)統(tǒng)一表征

Mandol 將記憶組織為兩個(gè)層次：

基礎(chǔ)記憶層負(fù)責(zé)直接存儲(chǔ)原始交互信息，以記憶單元（封裝原始信息與語義向量）、記憶空間（提供多粒度邏輯隔離）以及顯式關(guān)系（時(shí)序、引用、狀態(tài)更新等）和隱式語義關(guān)系，構(gòu)建統(tǒng)一的結(jié)構(gòu)化語義圖。

高階抽象記憶層則由大模型自動(dòng)從基礎(chǔ)記憶中提煉出情景記憶（事件鏈）、語義記憶（實(shí)體關(guān)系圖）和情感記憶（用戶偏好演化鏈）等抽象知識(shí)。

兩層之間通過可追溯鏈接保持雙向關(guān)聯(lián)，確保任何抽象推理結(jié)論均可溯源至原始對(duì)話證據(jù)。這一設(shè)計(jì)既保留了基礎(chǔ)層的完整信息，又提供了支持推理的高階抽象視圖，針對(duì)統(tǒng)一表示問題給出了一種系統(tǒng)化方案。

在結(jié)構(gòu)化語義圖中，基礎(chǔ)層的記憶單元以節(jié)點(diǎn)形式存在，顯式關(guān)系邊通過規(guī)則解析直接建立，隱式語義邊則在查詢時(shí)按需從向量索引中獲取。高階層在此基礎(chǔ)上進(jìn)一步抽象：事件鏈以時(shí)序和因果邊連接事件節(jié)點(diǎn)，實(shí)體圖以引用和屬性邊組織實(shí)體關(guān)系，偏好演化鏈以狀態(tài)更新邊追蹤用戶偏好的變化軌跡。

例如，當(dāng)一個(gè)簡(jiǎn)短的對(duì)話片段「預(yù)訂了一間胡同民宿」被增強(qiáng)為帶有時(shí)空上下文的事件節(jié)點(diǎn)后，Mandol 不僅將其與同一次旅行的其他事件（如「航班延誤」 「參觀故宮」）建立時(shí)序邊，還通過語義索引與之前會(huì)話中的「計(jì)劃預(yù)訂王府井酒店」建立跨會(huì)話的隱式關(guān)聯(lián)，并在此基礎(chǔ)上抽象出一條狀態(tài)更新邊，完整刻畫住宿偏好從「王府井酒店」到「胡同民宿」的演化過程。所有抽象節(jié)點(diǎn)均保留指向原始基礎(chǔ)單元的引用，為后續(xù)的精確檢索提供了既細(xì)粒度又可推理的數(shù)據(jù)基礎(chǔ)。

設(shè)計(jì)二：內(nèi)存原生語義數(shù)據(jù)結(jié)構(gòu) —— 消除跨庫(kù)查詢延遲

異構(gòu)多庫(kù)架構(gòu)是查詢延遲的主要來源。針對(duì)這一問題，Mandol 提出了基于內(nèi)存語義數(shù)據(jù)結(jié)構(gòu)的統(tǒng)一存儲(chǔ)架構(gòu)，設(shè)計(jì)了SemanticMap與SemanticGraph協(xié)同工作的原生內(nèi)存數(shù)據(jù)結(jié)構(gòu)，在單一地址空間內(nèi)實(shí)現(xiàn)鍵值存儲(chǔ)、向量索引與圖結(jié)構(gòu)的原生融合。

SemanticMap 融合傳統(tǒng)鍵值存儲(chǔ)和向量結(jié)構(gòu)，解決記憶單元的多模態(tài)數(shù)據(jù)存儲(chǔ)與語義查詢問題，并支持通過記憶空間標(biāo)簽進(jìn)行上下文邏輯隔離；SemanticGraph 負(fù)責(zé)統(tǒng)一管理顯式記憶關(guān)系與隱式語義關(guān)聯(lián)：顯式關(guān)系以結(jié)構(gòu)化邊直接存儲(chǔ)在圖中，隱式語義關(guān)聯(lián)則依托 SemanticMap 中的向量索引按需檢索并動(dòng)態(tài)返回相似鄰居，從而避免預(yù)先枚舉和物化所有潛在語義邊。兩者相互關(guān)聯(lián)，在物理層面實(shí)現(xiàn)結(jié)構(gòu)化語義圖的統(tǒng)一存儲(chǔ)視圖。

在此基礎(chǔ)上，Mandol 提供了一套原子化混合檢索算子，覆蓋記憶單元查詢、空間查詢、關(guān)系查詢和多跳查詢等操作，將向量匹配、圖遍歷等操作統(tǒng)一封裝為內(nèi)存內(nèi)的高效執(zhí)行單元，顯著減少了異構(gòu)存儲(chǔ)帶來的高 I/O 延遲。此外，活躍記憶層通過異步分頁(yè)機(jī)制連接嵌入式持久化后端 DuckDB，用于冷數(shù)據(jù)或長(zhǎng)期存儲(chǔ)。

設(shè)計(jì)三：智能量化檢索機(jī)制 —— 在 Token 預(yù)算內(nèi)構(gòu)建高質(zhì)量上下文

Mandol 將檢索任務(wù)重新定義為「在有限 Token 預(yù)算下構(gòu)建高質(zhì)量上下文」，并構(gòu)建了無需大模型介入的量化檢索流程。

其核心方法是：首先通過查詢自適應(yīng)的智能路由進(jìn)行預(yù)算分配與多源并行召回（即根據(jù)查詢特征選取部分高階記憶和基礎(chǔ)記憶進(jìn)行檢索），確保記憶信息的完整覆蓋；隨后對(duì)召回結(jié)果進(jìn)行記憶源內(nèi)部量化去噪與跨記憶源沖突消解，去除噪聲與冗余信息；最終在 Token 預(yù)算約束下完成上下文的精簡(jiǎn)與生成，兼顧相關(guān)性與多樣性，從而在有限開銷內(nèi)獲得高信息密度的證據(jù)上下文。

實(shí)驗(yàn)：總體準(zhǔn)確率領(lǐng)先，效率大幅提升，部署友好

研究團(tuán)隊(duì)在 LoCoMo 和 LongMemEval 兩項(xiàng)長(zhǎng)對(duì)話記憶評(píng)測(cè)基準(zhǔn)上對(duì) Mandol 進(jìn)行了全面驗(yàn)證。

在檢索質(zhì)量上，以 GPT-4.1-mini 作為生成模型、GPT-4o-mini 作為評(píng)估模型的設(shè)置下，Mandol 在 LoCoMo 和 LongMemEval 上分別取得 92.21% 和 88.40% 的整體準(zhǔn)確率，在所比較的代表性開源記憶系統(tǒng)中取得最優(yōu)總體結(jié)果。尤其在多跳推理、時(shí)序推理與知識(shí)更新等復(fù)雜查詢類型上，Mandol 展現(xiàn)出較強(qiáng)優(yōu)勢(shì)。

值得注意的是，即使采用更輕量的檢索后端模型（Qwen3-Embedding-0.6B 與 bge-reranker-v2-m3），Mandol 仍在總體準(zhǔn)確率和多數(shù)關(guān)鍵任務(wù)上超過使用更大檢索模型的對(duì)比系統(tǒng)，同時(shí)將 Token 消耗降低了 17.4%–20.0%。這一結(jié)果說明，其性能增益主要來自記憶組織與檢索機(jī)制的結(jié)構(gòu)性優(yōu)勢(shì)，而非單純依賴更大規(guī)模的嵌入或重排序模型。

在系統(tǒng)性能方面，在 10 QPS 并發(fā)負(fù)載的服務(wù)器環(huán)境中（NVIDIA H800 GPU），Mandol 的平均檢索延遲僅為 82.2 ms，相比最快基線實(shí)現(xiàn)約 5.4 倍加速；平均記憶插入延遲為 39.7 ms，相比最快基線實(shí)現(xiàn)約 4.8 倍加速。

值得注意的是，在本地消費(fèi)級(jí)設(shè)備（筆記本 NVIDIA RTX 5090）的補(bǔ)充實(shí)驗(yàn)中，Mandol 的延遲仍低于現(xiàn)有系統(tǒng)，顯示出優(yōu)異的本地部署潛力。這種顯著的效率優(yōu)勢(shì)，根源在于其進(jìn)程內(nèi)內(nèi)存原生架構(gòu)徹底避免了數(shù)據(jù)庫(kù)往返和跨庫(kù)協(xié)調(diào)開銷。

在資源消耗上，Mandol 同樣表現(xiàn)良好。其內(nèi)存占用適中，且因消除了對(duì)外部數(shù)據(jù)庫(kù)服務(wù)及其網(wǎng)絡(luò)通信的依賴，完成標(biāo)準(zhǔn)長(zhǎng)對(duì)話負(fù)載的整體耗時(shí)僅為對(duì)比系統(tǒng)的 1/4.2 至 1/9.9，展現(xiàn)出良好的本地部署潛力。

結(jié)語

Mandol 通過凝聚式的分層記憶模型、內(nèi)存原生統(tǒng)一存儲(chǔ)與智能量化檢索三項(xiàng)核心創(chuàng)新，為 Agent 提供了一個(gè)兼顧高精度、低延遲和輕量化部署的記憶系統(tǒng)解決方案。該系統(tǒng)已在 GitHub 開源，便于研究者復(fù)現(xiàn)、試用和進(jìn)一步開發(fā)。得益于內(nèi)存原生架構(gòu)，Mandol 無需依賴外部數(shù)據(jù)庫(kù)服務(wù)，可在消費(fèi)級(jí)設(shè)備上高效運(yùn)行，為端側(cè) Agent 的記憶管理提供了新的可能。

對(duì)于正在構(gòu)建需要可靠長(zhǎng)期記憶的對(duì)話 Agent、推薦 Agent 或陪伴 Agent 等的研究與工程團(tuán)隊(duì)而言，Mandol 提供了一個(gè)兼具精度、性能和工程實(shí)用價(jià)值的選擇。

【ICML 2026首爾 · 云帆AI Talent Meetup】最后報(bào)名中，快來晚宴現(xiàn)場(chǎng)Pick你感興趣的同行者～

7月9日晚，首爾ICML會(huì)場(chǎng)旁，上海人工智能實(shí)驗(yàn)室、上?？萍即髮W(xué)、上海創(chuàng)智學(xué)院、階躍星辰、Sharpa Robotics等20余家上海頂尖AI單位現(xiàn)場(chǎng)設(shè)展，開放100+崗位。專場(chǎng)招聘、學(xué)術(shù)分享、圓桌交流、自由Networking、晚宴一站式搞定。