NoteBank
一种免训练的稀疏情节记忆附加模块，通过存储和回放原始文本片段，提升线性注意力与状态空间模型的长上下文检索召回率，不改变骨干网络权重。
时间轴 (近 90 天)
KAUST 的论文《History Replays Itself》（arXiv:2610.15715）提出了 NoteBank，一个免训练的附加模块，通过存储原始文本片段并在问题到来时重新喂给模型来改善长上下文召回。
NoteBank 是一个稀疏的情节记忆模块，可直接挂到预训练的循环模型和混合语言模型上，如 Gated DeltaNet（GDN）和 Mamba-2，不改变骨干网络的权重或架构，也不需要外部嵌入模型、单独训练的检索器或独立的阅读器网络。
在六个 RULER 大海捞针任务、一百万 token 的设置下，论文报告 GDN 的平均准确率从 1.7% 提升到 70.3%。
NoteBank 的持久化存储约为同等宽度、深度和精度下完整多头注意力 KV 缓存的 1/2600（论文 Figure 1 中为 74.5 MiB 对 192 GiB）。
NoteBank 的额外算力最多为分析 FLOPs 的 0.025%。
NoteBank 的写入阶段在上下文编码期间、任何问题出现之前进行，根据每个 token 的 key 向量独特性（1 减去该 token 的 key 与块平均 key 之间的余弦相似度，再对层和头取平均）选择笔记，无法预知未来问题需要什么。
NoteBank 的寻址阶段为每条笔记在每个层-头通道上保存一个紧凑地址（笔记中最独特 token 处的原生查询向量），问题到来时各通道独立计算余弦相似度并投票，得票最多的前 R 条笔记被检索出来，平局时优先选择更早的笔记。
NoteBank 的回放阶段将被检索到的笔记按原始文档顺序拼接，从未修改的骨干网络出发（从保存状态的副本开始）重新处理，然后处理问题并生成答案。
NoteBank 的核心检索结果无需训练，但论文可选地训练轻量 LoRA 适配器以帮助模型在下游任务中利用回放的证据，适配器仅在回放和回答阶段启用。
在 LongBench v1/v2 和 MemoryAgentBench 上，NoteBank 也报告了改善，覆盖从三个 1.3B 研究模型一直到 Mamba-2-8B 和训练后的 Qwen3.5-9B。
还有 3 条时间轴事件
全部知识事实 (13)
当问题需要的信息稀疏散布在文档各处，或者需要对多个段落做聚合，或者信息在写入阶段并不显眼时，NoteBank 的稀疏存档召回率会明显下降，这是论文承认的局限之一。
50%待验证NoteBank 是一个稀疏的情节记忆模块，可直接挂到预训练的循环模型和混合语言模型上，如 Gated DeltaNet（GDN）和 Mamba-2，不改变骨干网络的权重或架构，也不需要外部嵌入模型、单独训练的检索器或独立的阅读器网络。
50%待验证在六个 RULER 大海捞针任务、一百万 token 的设置下，论文报告 GDN 的平均准确率从 1.7% 提升到 70.3%。
50%待验证NoteBank 的持久化存储约为同等宽度、深度和精度下完整多头注意力 KV 缓存的 1/2600（论文 Figure 1 中为 74.5 MiB 对 192 GiB）。
50%待验证NoteBank 的额外算力最多为分析 FLOPs 的 0.025%。
50%待验证NoteBank 的写入阶段在上下文编码期间、任何问题出现之前进行，根据每个 token 的 key 向量独特性（1 减去该 token 的 key 与块平均 key 之间的余弦相似度，再对层和头取平均）选择笔记，无法预知未来问题需要什么。
50%待验证NoteBank 的寻址阶段为每条笔记在每个层-头通道上保存一个紧凑地址（笔记中最独特 token 处的原生查询向量），问题到来时各通道独立计算余弦相似度并投票，得票最多的前 R 条笔记被检索出来，平局时优先选择更早的笔记。
50%待验证NoteBank 的回放阶段将被检索到的笔记按原始文档顺序拼接，从未修改的骨干网络出发（从保存状态的副本开始）重新处理，然后处理问题并生成答案。
50%待验证NoteBank 的核心检索结果无需训练，但论文可选地训练轻量 LoRA 适配器以帮助模型在下游任务中利用回放的证据，适配器仅在回放和回答阶段启用。
50%待验证在 LongBench v1/v2 和 MemoryAgentBench 上，NoteBank 也报告了改善，覆盖从三个 1.3B 研究模型一直到 Mamba-2-8B 和训练后的 Qwen3.5-9B。
50%待验证NoteBank 的存储和算力声明是分析性的：论文的 FLOP 数字是层级别的分析估计，作者说明它们不测量运行时，穷举匹配和回放会增加实际延迟。
50%待验证NoteBank 是一个预印本，结果尚未经过同行评审或独立复现。
50%待验证KAUST 的论文《History Replays Itself》（arXiv:2610.15715）提出了 NoteBank，一个免训练的附加模块，通过存储原始文本片段并在问题到来时重新喂给模型来改善长上下文召回。
50%