小样本学习隐藏Bug突破：几何感知距离校正提升20%性能
2026/11/4 4:58:31
检索即遍历：面向有状态长上下文智能体的值索引记忆
会议：NeurIPS 2026 长上下文基础模型研讨会
原文网页：https://arxiv.org/html/2610.40545v1
PDF链接：https://arxiv.org/pdf/2610.40545v1
arXiv编号：arXiv:2610.40545v1 [cs.AI]
摘要
长上下文模型会反复求解大量高度相关的检索任务。注意力机制或者全局检索可以保存大规模记忆库，但每一次前向传播都要重新搜索关键信息。循环压缩虽然可以省去搜索步骤，但需要提前决定保留哪些信息。这两类机制均没有直接利用一条重要特性：相邻检索步骤所需要用到的有效记忆集合存在大量重叠。
本文提出一种新思路：将检索视作在地址空间上执行的持久化局部遍历。把记忆的内容与记忆的存储地址做解耦；记忆的效用由检索该内容所能揭示的信息决定，而地址空间几何结构只决定获取这份信息的开销高低。由此构造带开销正则项的索引目标函数，在局部邻域内保留信息价值，同时对每一条被设置为局部可访问的记忆施加开销代价。该目标的边际价值形式同时产生吸引压力与排斥压力：当新增记忆带来的额外价值高于检索开销，具备互补关系的记忆应当可以被共同检索；而对于冗余记忆，不能仅仅因为各自单独具备效用，就把它们放在同一个检索集合中。
作为原理验证，本文在MiniGrid‑Memory环境测试最简单的固定几何实现方案。在仅5个token的极短上下文条件下，持久化局部遍历头在0.59M训练步数即可达到0.95平均回报；高斯绝对寻址需要0.94M步数，类别型绝对寻址则需要超过2M步数。该实验并未测试可学习的几何结构，也没有测试多次重复检索场景；该实验仅支撑一条初步假设：有状态的增量式检索比无状态检索更容易学习。若要完整验证整套方法，还需要开展进一步实验。
关键词
长上下文；外部记忆；检索即遍历；值索引记忆；持久检索；有状态智能体；记忆几何；互补与冗余
目录
- 引言
- 相关工作
- 值索引记忆理论框架
- 3.1 记忆内容、上下文与地址
- 3.2 带开销正则的局部索引目标
- 3.3 互补性与冗余性带来的双向压力
- 3.4 作为持久遍历的检索机制
- 原理验证实验（固定几何）
- 局限性
- 结论
- 附录简要说明
1 引言
长上下文模型面临一组基础权衡：
- 保存完整历史可以保留全部信息，但注意力、检索机制每一轮都要重新判断历史中哪些内容是重要的；
- 将历史压缩进固定大小循环状态，可以规避重复扫描，但压缩操作发生在未来全部信息需求出现之前，存在信息损失风险。
稀疏注意力、近似最近邻检索、外部检索可以降低单次查询开销，但依然把每一轮后续查询当做全新独立匹配问题。该思路忽略了重复开销来源：相邻推理步骤所需要的记忆集合往往高度重叠。想要利用该特性，需要在执行检索之前，就掌握待检索记忆的价值信息。
本文提出检索即遍历范式：记忆、当前上下文、检索头全部放置在同一个地址空间。当前上下文与检索头的位置，保存对未来记忆期望价值信息；距离ϵ \epsilonϵ邻域内的记忆会被一次性检索出来。
和语义检索核心区别：地址空间的几何排布由检索记忆内容带来的决策价值塑造，而不是记忆内容本身的语义相似度。
两条记忆语义高度相似，有可能互相冗余；两条语义差异很大的记忆，却只有放在一起使用才具备高价值。
本文贡献分为两部分：
- 给出一套决策论目标函数，用于学习上述地址几何；推导冗余、互补关系如何影响记忆的局部共同检索行为。
- 完成一组小规模原理验证实验：固定地址几何，只学习持久化检索遍历机制。
注意：本文并未宣称“可学习值索引”已经得到完整实验验证。
2 相关工作
可微外部记忆系统很早就把计算逻辑和存储状态解耦。
- 神经图灵机NTM同时支持内容寻址与位置寻址；
- 可微神经计算机DNC增加动态分配与时间链路；
- Lie‑access NTM：记忆位于连续流形，读写头依靠相对变换完成移动；
- Neural Map：直接使用物理位置作为外部记忆索引。
现代稀疏注意力、检索增强生成，依靠哈希、可学习路由、近邻搜索避免对全部条目做注意力计算。
本文的出发点与之不同：希望地址空间本身依据未来检索期望效用组织，跨多轮相关查询完成持久化遍历访问。
3 值索引记忆理论框架
3.1 记忆内容、上下文与地址
记Ω t = { 1 , . . . , n t } \Omega_{t}=\{1,...,n_t\}Ωt={1,...,nt}代表t tt时刻全部可用外部记忆索引集合。
记忆j jj存储随机变量M j ∈ M M_j \in \mathcal{M}Mj∈M。检索之前M j M_jMj对模型是未观测状态；执行检索之后才会暴露具体内容m j m_jmj。
C j w C_j^wCjw代表记忆j jj被写入时的上下文；记忆地址：
z j = Φ ( C j w ) ∈ R R z_{j}=\Phi\left(C_{j}^{w}\right) \in \mathbb{R}^{R}zj=Φ(Cjw)∈RR
条件：给定已经确定的记忆库，z j z_jzj为固定位置。检索操作把记忆内容m j m_jmj送入工作上下文，不会把写入上下文C j w C_j^wCjw送入上下文。
当前上下文C t C_tCt：近期观测、已经检索得到的记忆，代表预测器当下可以获取的全部信息。检索头位置独立维护，不属于C t C_tCt。
给定当前上下文c cc，子集S ⊆ Ω t S\subseteq \Omega_tS⊆Ω