摘要
对于长程(long-horizon)AI 智能体而言,智能体记忆(agentic memory)正变得至关重要;然而,许多现有系统依赖自回归大语言模型(LLM)来控制记忆的组织、检索和使用,从而将高昂的生成过程置于记忆操作的关键路径上。我们推出了Jev-Mem,这是一种受“系统一/系统二”(System-One/System-Two)认知理论启发的新型智能体记忆架构。系统一负责快速、轻量级的决策,而系统二则进行较慢、深思熟虑的推理。Jev-Mem 通过专用的 System-One 控制平面、结构化多关系记忆平面以及 System-Two 推理平面,将这种分工机制引入了智能体记忆系统。系统一控制器在记忆构建阶段管理记忆类型划分与关系组织,并在检索阶段动态执行查询路由、检索预算分配、图遍历、候选结果评分及自适应停止等操作;系统二仅在需要复杂推理和答案综合时才被调用。这种设计同时提升了记忆效能与系统效率:在 LoCoMo 评测中,Jev-Mem 获得了 0.777 的 LLM-as-a-Judge 综合评分,较最强基线提升了 11.0%;同时,其记忆构建时间缩短至 158 秒(较最快竞品系统提速 6.6 倍),平均查询延迟降至 0.93 秒(降低了 36.7%)。Jev-Mem 的代码已开源。
1.Introduction
人们日益期望大语言模型(LLM)智能体能够在长期的交互过程中作为持续运行的系统发挥作用,从而支持诸如编程助手、个人智能体、研究智能体及自主工作流等各类应用。此类智能体通常将推理过程与工具调用及环境操作交织进行,并在交互式网页平台或软件代码库等多步骤环境中开展活动。在这些交互过程中,智能体会不断积累用户偏好、任务历史及环境知识,其数据量往往会迅速超出固定上下文窗口所能容纳的限度。仅仅扩大上下文长度并不能解决这一问题,原因在于模型无法可靠地利用长输入序列中的所有位置信息,且长期的交互场景还带来了索引、检索及信息读取方面的额外挑战。因此,为了在长时间跨度内保持效能,智能体需要具备相应的机制,以便在 prompt 范围之外留存有价值的经验,并在需要时将其提取出来。这一需求催生了“智能体记忆”的概念——即一种能够保存、组织、更新并检索过往经验的能力。
近期的研究已将智能体(agentic)记忆从单纯的被动存储转变为大语言模型(LLM)智能体中一个主动且结构化的组成部分。早期系统主要存储过往交互记录并基于语义相似度进行检索,而较新的方法则倾向于选择性地保留关键信息、整合重复出现的观测结果,并利用分层存储结构来组织记忆。程序性记忆进一步涵盖了可复用的技能、提炼出的经验以及重复出现的工作流程。更先进的关系型方法利用知识图谱或多重图视图来表征记忆,从而支持基于语义、时间、因果及实体关联的检索,而非仅仅针对孤立的记忆片段。然而,随着记忆内容日益丰富,对其进行管理的成本也随之攀升。具备持久性的智能体必须不断做出决策:确定哪些内容需要存储、更新、关联或检索,以及何时终止搜索过程。现有系统通常依赖固定的启发式规则或通用的自回归大语言模型:前者效率虽高但缺乏灵活性,后者虽具备语义灵活性,却往往伴随着高昂的重复 Token 生成开销。鉴于这些决策贯穿于记忆构建与检索的全过程,记忆控制本身往往成为导致系统延迟和推理开销增加的主要因素。
这一观察促使我们从“系统1”与“系统2”的视角重新审视 agentic memory ——这一区分源于人类推理的双重加工理论,旨在将快速、自动化的处理与较慢、需深思熟虑的思考区分开来。许多记忆操作(包括记忆类型判定、关系判断、查询路由、候选结果评分及终止决策)都属于结构化的高频决策,天然适合轻量级的“系统1”计算;而证据综合与最终答案生成则更适合“系统2”处理。Jev 通过在不依赖自回归生成的情况下输出带有类型标签的概率性决策,使得这种区分在实践中变得可行。然而,仍有一些问题亟待解决:应如何在整个记忆生命周期中整合“系统1”?推理能力较弱的系统如何控制记忆而不损害下游任务的准确性?什么样的记忆结构与检索过程最能支持这种轻量级控制?
受此启发,我们提出了Jev-Mem,这是一种全新的“系统一/系统二”(System-One/System-Two)架构,将记忆控制本身视为一个一级系统层。与现有的智能体记忆系统不同——后者在记忆构建和检索过程中往往依赖启发式规则或反复调用自回归大语言模型(LLM)——Jev-Mem 引入了(1)一个专用的“系统一”控制平面来处理高频结构化决策,(2)一个共享的结构化记忆数据平面,以及(3)一个专用于复杂综合与答案生成的“系统二”推理平面。这种分离机制重塑了记忆的完整生命周期:在写入路径上,“系统一”负责记忆类型划分、冗余过滤,以及语义、时间、因果和实体关系构建;在读取路径上,它负责查询路由、检索预算分配、图遍历、候选评分、证据评估及自适应停止。通过将这些频繁决策从生成式推理循环中剥离出来,Jev-Mem 减少了不必要的自回归推理,同时依然凭借“系统二”保持了强大的推理能力。Jev 通过基于类型的概率决策实现了“系统一”控制器的一种具体形式,但 Jev-Mem 的核心创新在于其架构设计:在记忆构建和检索的全过程中,将轻量级记忆控制与深思熟虑的推理过程分离开来。
我们做出了四项主要贡献。
- 我们发现了一个契机,可以利用“系统一”(System 1)式的轻量级决策机制,来实现更高效的智能体记忆功能。
- 我们推出了Jev-Mem,这是一种“系统一/系统二”(SystemOne/System-Two)架构,将轻量级的结构化记忆控制与高成本的生成式推理分离开来。
- 我们开发了一个统一的“系统一”(System-One)控制平面,用于记忆构建与检索,涵盖多关系组织、查询路由、自适应图遍历、候选评分及终止机制。
- 在各类先进基准方法中,Jev-Mem 不仅实现了最佳的整体准确率,还具备最高的效率。
2.Background and Motivation
2.1 Agentic Memory
图 1 展示了智能体记忆的工作流程。设智能体维护一个不断演变的记忆MtM_tMt。在交互步骤ttt,查询qtq_tqt检索相关证据。
Et=R(qt,Mt)(1)E_t=R(q_t,M_t)\tag{1}Et=R(qt,Mt)(1)
随后将其提供给语言模型,用于推理和生成回复:
ot=L(qt,Et)(2)o_t=L(q_t,E_t)\tag{2}ot=L(qt,Et)(2)
由此产生的交互随后可能会更新记忆:
Mt+1=U(Mt,qt,ot)(3)M_{t+1}=U(M_t,q_t,o_t)\tag{3}Mt+1=U(Mt,qt,ot)(3)
“智能体记忆”(Agentic memory)已从单纯检索存储的交互历史,演变为日益主动的记忆管理。现代系统能够有选择地组织观测数据、推断记忆间的关联、整合信息、在不同记忆结构间调度查询,并根据当前查询调整检索策略。因此,记忆不再仅仅是供检索函数调用的被动存储库,而是日益表现为一个动态子系统,持续就信息的组织与访问方式做出决策。
这种转变引出了一个重要但相对较少受到关注的系统层面问题:应由何种计算机制来执行这些记忆管理决策?记忆更新(UUU)和检索(RRR)过程都涉及频繁的语义决策。在构建记忆时,系统必须确定如何表征新信息并将其与现有知识建立联系;而在检索时,系统则需确定搜索范围、甄别有用候选信息、权衡所需的额外搜索量,并判断何时已收集到足够的证据。
长期以来,外部检索一直作为一种机制,通过稠密检索器、检索增强预训练以及检索增强生成,利用非参数化存储来扩充参数化语言模型的知识。智能体记忆(Agentic memory)沿用了这一机制的大部分要素,但其不同之处在于:其存储内容由智能体自身的交互历史写入,且需要随时间推移进行维护与重组,而非预先固定。
一个密切相关的研究方向探讨了检索增强生成(RAG)中的自适应控制。这些主动且自适应的方法不再对每个 query 都采用相同的检索流程,而是动态地判断是否需要检索、何时获取额外证据,或者针对特定 query 应采用何种检索策略。这些研究成果促使人们将检索视为一个可控的决策过程,而非仅仅是固定的“Top-k”操作。Jev-Mem 正是基于这一视角,将上述原则从证据获取扩展到了更广泛的记忆生命周期,涵盖了记忆构建、查询路由、预算分配、图遍历以及终止机制等环节。
Jev-Mem 专注于这一记忆控制层。我们不再将这些决策视为嵌入 prompts 中的附带成分或固定的启发式规则,而是将其作为记忆架构的一个明确组成部分。
2.2 The Opportunity for System-One Memory Control
一个关键的观察结果是,许多记忆控制操作属于语义性操作,而非生成性操作。在记忆构建过程中,系统可能需要对记忆进行分类或推断其与现有信息之间的关系;而在检索过程中,系统则可能需要引导查询、对候选结果进行评分或决定何时停止。这些决策通常产生标签、概率或分数等受限的输出,而非自由形式的文本。
因此,将自回归大语言模型(LLM)用于此类高频决策的代价过高:即便是简单的判断,也需要进行逐个 Token 的生成、格式化及解析。由于这些操作反复出现在内存关键路径上,其开销会迅速累积。
从更广泛的角度来看,具备成本感知能力的大语言模型(LLM)推理系统表明,不同的请求无需消耗等量的模型计算资源。级联(cascading)和路由(routing)方法通过在成本各异的模型间动态分配请求来优化成本与质量的权衡;推测解码(speculative decoding)则利用小模型生成草拟的 token,再由大模型进行验证。Jev-Mem 在更细的粒度上应用了类似的系统设计原则:它不再仅仅是在模型间路由完整的用户请求,而是将频繁且受限的内存控制决策,与开放式的生成及深思熟虑的推理过程分离开来。
这为采用“系统1/系统2”架构设计创造了天然契机:针对频繁的记忆控制决策使用轻量级结构化预测,同时将“系统2”保留用于复杂的推理与答案综合。
3.Jev-Mem Algorithm Design
Jev-Mem 重新设计了智能体记忆机制,明确区分了快速记忆控制与深思熟虑的推理过程。如图 2 所示,该架构包含三个组件:(1)System-One 控制器、(2)共享记忆数据平面以及 (3)System-Two 推理模型。System-One 控制器无需依赖自回归大语言模型(LLM)来管理每一项记忆操作,而是在写入和检索过程中做出轻量级、结构化的决策。记忆平面负责维护规范化观测数据及其包含的语义、时间、因果和实体关系;System-Two 则专门用于答案合成以及其他需要开放式生成或深度推理的操作。
该架构将记忆构建与检索统一在同一控制机制之下。在写入路径上,Jev-Mem 负责保存观测信息、分配记忆类型、筛选候选记忆,并确定新观测信息应如何与现有的多关系记忆建立连接。在读取路径上,它将各项查询引导至最相关的关系视图,分配检索资源,评估证据充分性,在必要时扩展图结构,并通过迭代反馈循环对新发现的候选内容进行评分。通过将上述两种工作流均视为协同的“系统一”(System-One)控制过程,Jev-Mem 以单一的自适应记忆管理架构,取代了以往那种由零散的启发式规则和重复调用大语言模型(LLM)构成的复杂模式。
设一次观测为
ot=(xt,τt,μt)(4)o_t=(x_t,\tau_t,\mu_t)\tag{4}ot=(xt,τt,μt)(4)
其中xtx_txt表示其内容,τtτ_tτt表示可选的时间戳,µtµ_tµt表示其来源。Jev-Mem 维护
Mt=(Vt,{Etg}g∈G,Itvec,Itlex)(5)\mathcal M_t=\left (V_t,\{E^g_t\}_{g\in\mathcal G},I^{vec}_t,I^{lex}_t\right )\tag{5}Mt=(Vt,{Etg}g∈G,Itvec,Itlex)(5)
其中
G={semantic,temporal,causal,entity}(6)\mathcal G=\{semantic,temporal,causal,entity\}\tag{6}G={semantic,temporal,causal,entity}(6)
所有关系视图共享相同的规范化记忆节点VtV_tVt;同一对记忆之间可能存在多条不同类型的边,而向量索引与词汇索引则为同一记忆空间提供了互补的访问入口。
3.1 Typed System-One Memory Control
Jev-Mem 的核心抽象是一个带类型的“系统一”(System-One)控制器J(S,Q)\mathcal J(\mathcal S, \mathcal Q)J(S,Q),其中S\mathcal SS表示结构化状态,Q\mathcal QQ表示一组显式的决策问题。该控制器既能针对独立命题输出概率,也能针对互斥选项输出概率分布。例如,它可以评估两段记忆在语义上是否相关、某个候选对象是否与当前 query 相关,或者检索到的证据是否充分。当且仅当需要执行单一动作时,它会从预定义的选项(如时间关系)中进行选择。
该接口的设计特意区别于自由形式的 LLM 提示(prompting)。每一项决策都对应一个有限且已知的输出空间,这使得 Jev-Mem 能够直接以概率形式表征记忆控制,而无需先生成中间的自然语言推理过程再进行解析。此外,处于相同状态的决策可以在单次批量调用中一并进行评估。
同一接口统管着写入与读取路径。在写入路径上,它负责控制记忆类型设定与关联构建;在读取路径上,它则执行查询路由、候选评估及终止判断。这种共享控制平面是 Jev-Mem 的一项关键架构特性:记忆并非由一套启发式规则构建、再由另一套规则检索,而是贯穿其整个生命周期,统一由同一个“系统一”(System-One)决策抽象进行管理。
3.2 System-One-Guided Memory Construction
对于每一项有效观测,Jev-Mem 都会创建一个规范化记忆节点,并围绕该节点有选择地构建关联关系。当前的系统设计旨在保留观测数据,而非在数据摄入阶段就做出不可逆的“存储或丢弃”决策;这种做法避免了某些看似无关紧要的信息在未来的查询揭示其相关性之前便永久丢失。相反,筛选机制是在构建记忆结构以及后续检索记忆的过程中发挥作用的。
控制器首先预测四个重叠的记忆特征:
t(v)=(tepisodic,tsemantic,tprocedural,tpreference)(7)\textbf t(v)=(t_{episodic},t_{semantic},t_{procedural},t_{preference})\tag{7}t(v)=(tepisodic,tsemantic,tprocedural,tpreference)(7)
这些评分是对节点进行的标注,而非将其归入某个单一且互斥的类别。规范节点保留了原始观测数据、来源信息、时间戳、嵌入向量、实体以及类型评分。
一个核心挑战在于确定新观测信息与日益庞大的记忆库之间存在何种关联。若将新信息与记忆库中的每个既有节点逐一比对,控制器的计算成本将随记忆库规模的扩大而线性增长。因此,Jev-Mem 将“候选对象发现”与“关联判定”这两个步骤分离开来。在确定性检索阶段,系统首先综合考量向量相似度、词汇重叠度、共享实体以及时间邻近性,从而筛选出至多KwK_wKw个候选对象:
C(v)=TopKu∈Vtscand(v,u)(8)C(v)=TopK_{u\in V_t}s_{cand}(v,u)\tag{8}C(v)=TopKu∈Vtscand(v,u)(8)
随后,System-One 控制器仅评估这些候选对。