超越 RAG 以实现智能体记忆:通过解耦和聚合进行检索 | ICML
作者:Zhanghao Hu, Qinglin Zhu, Hanqi Yan, Yulan He, Lin Gui | 日期:2026年2月2日
针对当前大模型智能体(LLM Agents)在使用传统的检索增强生成(RAG)技术处理长短期记忆时存在的缺陷,由伦敦国王学院(King's College London)和图灵研究院的研究团队提出了一套名为 xMemory 的新型架构。
1. 核心背景:传统 RAG 在智能体记忆中的“不适应”
传统的 RAG 是为大规模、异构语料库(如维基百科、公司文档)设计的,其底层假设是:检索出的不同片段通常是独立的且互补的。
然而,智能体记忆(Agent Memory) 具有完全不同的特征:
-
• 连贯性与相关性:记忆是连续的对话流或行为序列,上下文高度相关。 -
• 冗余性:同一个事实可能在对话中被多次提及。 -
• 时间依赖性:某些推理需要完整的时序逻辑,简单的相似度匹配(Top-K)可能会把逻辑链条切断。
结论:如果直接套用 RAG,智能体会面临检索内容高度冗余、关键上下文丢失或推理不连贯等问题。
2. 核心方案:xMemory 的“解耦与聚合”
xMemory 抛弃了简单的“文本切片+向量检索”,转而构建了一个四层分级记忆结构,并采用“解耦到聚合”的策略。
A. 四层分级结构
-
1. 原始消息层(Original Messages):最底层的原始对话记录。 -
2. 情节层(Episode):将连续的消息块总结为完整的情节单元,保留时序证据。 -
3. 语义层(Semantic):从情节中提取出精简的、可复用的事实知识(去除了多余的语气词和修饰)。 -
4. 主题层(Theme):将相关的语义节点聚合成高层主题。
B. 动态管理机制:稀疏性-语义目标(Sparsity-Semantics Objective)
xMemory 不仅仅是静态分类,它会根据记忆的增长动态调整:
-
• 智能拆分(Split):当某个主题下的语义节点过多(例如超过12个)导致信息过于密集时,系统会将其拆分。 -
• 自动合并(Merge):当某些主题过小、过于碎片化时,系统会将其合并,以增强聚合效应。 -
• 目标函数:系统通过平衡“稀疏度”(防止冗余)和“语义相干性”(保证内容相关)来决定何时调整。
3. 检索机制:自上而下的两阶段检索
xMemory 的检索不再是简单的“找最相似的”,而是像人类一样思考:
-
1. 第一阶段(宏观):首先在主题层和语义层进行初步检索,获取精炼的背景和事实。 -
2. 第二阶段(自适应下钻):系统会监测大模型的“不确定性”(Predictive Uncertainty,通过 Logits 或熵值衡量)。
-
• 如果高层信息已经足够回答问题,则停止检索,节省 Token。 -
• 如果大模型感到困惑(不确定性高),系统才会进一步深入情节层和原始消息层,提取细节证据。
4. 实验结论与意义
研究团队在 LoCoMo 和 PerLTQA 等长文本/智能体评测基准上进行了测试,结果显示:
-
• 性能提升:在多个主流大模型(如 GPT-4, Claude 等)上,xMemory 的回答准确度显著高于传统的 RAG 和带剪枝的 RAG。 -
• Token 效率:由于采用了自适应检索,它能用更少的 Token 提供更关键的信息,减少了冗余信息的输入。 -
• 证据密度高:分析表明,xMemory 检索回来的内容中,包含“关键证据”的比例更高,有效解决了 RAG 容易找回一堆“废话”的问题。
5. 总结
xMemory 的核心价值在于它承认了智能体记忆的特殊性。
它不再把记忆看作一堆零散的碎片,而是看作一个可以自我重构、层级分明的知识库。
通过这种“解耦(提取事实)再聚合(形成主题)”的方法,智能体能够更清晰地记住“发生了什么事”以及“这件事背后的逻辑”,从而在长程对话中表现得更聪明、更省资源。
https://arxiv.org/abs/2602.02007
如果觉得内容不错,欢迎你点一下「在看」,或是将文章分享给其他有需要的人^^
相关好文推荐:
你的工作不会消失,它只是不断在你身边逐渐萎缩 | Jan Tegze
一个使用 OpenRouter 的 1 万亿令牌实证研究 | OpenRouter AI
一个月内把编码主力交给 Agent 的真实体验 | karpathy
从 DeepSeek V3 到 Mistral 3 Large:现代大语言模型(LLM)架构设计概览(三)| Sebastian Raschka
从 DeepSeek V3 到 Mistral 3 Large:现代大语言模型(LLM)架构设计概览(二)| Sebastian Raschka
从 DeepSeek V3 到 Mistral 3 Large:现代大语言模型(LLM)架构设计概览(一)| Sebastian Raschka
递归语言模型(Recursive Language Models) | Alex Zhang

0条留言