REMORY：32个残差Token如何压缩8K对话上下文

大语言模型（LLM）的上下文长度一直被视为硬性天花板——想让模型记住更长的对话，就得付出更高的延迟与算力代价。一篇名为 REMORY 的 arXiv 论文提出了另一条路：用极少量的「残差记忆」软 Token，让一个被冻结的 LLM 在不增加显著成本的前提下，几乎无损地复原长对话历史。

其核心主张颇具冲击力：一个 32 维度的残差向量序列，能以 95% 的保真度恢复一段 8K Token 的对话。这迫使整个社区重新思考——上下文长度到底有多少是真正不可压缩的信息。

REMORY 论文解读

一个客服机器人的真实痛点

想象一家每天处理数千张工单的 SaaS 公司，其 AI 助手基于 Claude-3-Opus，在每次问题解决后生成摘要，例如「用户报告登录失败，提供截图，通过重置 MFA 解决」。

三天后，同一用户问：「能把昨天收到的重置码再发一次吗？」此时机器人手上只有摘要，根本无法还原系统当时生成的精确重置码。传统做法要么存储完整对话（成本高昂），要么冒着答错的风险。

REMORY 的解法是：把原始对话日志与人类可读摘要一起喂给编码器，解码器输出 32 个残差 Token——这些连续向量恰好捕捉了摘要遗漏的信息，包括那串重置码。当机器人把这些 Token 追加到提示词后，冻结的 Claude-3-Opus 便能复现它在看到完整日志时才会生成的答案。

结果是：助手答对了，用户满意，公司也省去了为每个用户持久化完整历史的开销。

架构、训练与关键数据

REMORY 是如何工作的

REMORY 的设计精髓在于将记忆压缩与 LLM 微调彻底解耦。整套系统由三部分组成：

编码器：接收两路输入——最长 64K Token 的原始历史，以及约 250 Token 的人类可读摘要。一个 12 层、768 维隐藏状态的 Transformer 负责定位两者之间的「信息差」。
残差学习解码器：生成一段有界的软 Token 序列（每个为 768 维向量），在 N ≤ 64 个 Token 后停止，保证输出大小可预测。
插件式接口：下游 LLM 以 <summary> <RES_TOKENS> 形式接收提示。由于这些 Token 是连续向量，LLM 无需额外分词即可将其视作上下文的一部分，且不触碰 LLM 本身的任何权重。

训练时的损失函数是精髓所在：系统先把完整历史喂给冻结 LLM，记录其输出分布；再喂入「摘要 + 残差 Token」，用 KL 散度衡量两者分布的差异。最小化该损失，就迫使残差 Token 精确编码那些缺失的信息片段。

KL 散度（Kullback-Leibler Divergence） 是信息论中衡量两个概率分布差异的标准工具。在 REMORY 的训练框架中，它被用来量化「冻结 LLM 看到完整历史时的输出分布」与「看到摘要 + 残差 Token 时的输出分布」之间的距离。KL 散度为零意味着两种输入让模型产生完全相同的预测概率，即残差 Token 已完美弥补了摘要的信息损失。这一选择的优势在于：相比逐词比对的监督损失，KL 散度直接优化模型的「思考过程」而非表层文本，能捕捉到更细粒度的语义偏差。软 Token（Soft Token / Continuous Prompt）是与离散文字 Token 相对的概念——它们是浮点数向量，存在于嵌入空间中，无法被人类直接阅读，但可以被 Transformer 的注意力机制直接处理。这也是 REMORY 无需修改 LLM 权重的关键：模型本身就支持将任意向量序列作为上下文输入，编码器只需确保这些向量落在模型「能理解」的嵌入分布范围内。

训练过程

训练数据来自 12TB 的多轮对话，涵盖公开论坛、代码评审线程与视频转文本对齐内容。摘要步骤由 GPT-4-Turbo 完成，将每段对话压缩为 250 Token 的摘要。

值得关注的是其课程学习策略：早期 epoch 将 N 限制在 8 个 Token，后期逐步放宽到 64，让模型自行发现真正需要多少容量。整个训练在 64 块 A100 上跑了 25 万步收敛，最终发布的 checkpoint 约 3.5 亿参数，仅占 1.4GB 显存，意味着单张消费级 GPU 即可推理。

课程学习（Curriculum Learning） 是一种受人类教育启发的训练策略，核心思想是按照「由易到难」的顺序安排训练样本或约束条件，帮助模型更稳定地收敛。在 REMORY 的语境中，早期将残差 Token 数量 N 限制为 8，相当于强迫模型用极少的「词汇」表达信息差，学到高度压缩的表示；随着训练推进逐步放开到 64，模型才被允许使用更多 Token 来处理更复杂的案例。这种渐进式放宽避免了模型在训练初期就因容量过大而陷入「记忆捷径」——即直接把原始文本片段塞进残差向量而非真正学习抽象表示。12TB 多轮对话语料的规模也值得关注：相比主流 LLM 预训练动辄数百 TB 的数据量，这一规模相当精简，说明编码器学习的是「差量压缩」这一较窄的任务，而非通用语言理解，这在一定程度上解释了为何 3.5 亿参数就能取得显著效果。

基准测试：以影响力为先的指标

论文声称：在 64K Token 的 WebGPT-Long QA 基准上，REMORY 把 BLEU-4 从 23.1 提升到 31.7，涨幅达 37%。

几项关键对比值得玩味：

长上下文问答（WebGPT-Long, 64K）：BLEU-4 从 23.1 升至 31.7，+37%
多轮对话（PersonaChat, 1 万轮）：精确匹配率从 45.2% 升至 58.9%，+30%
推理延迟：从每步 1.2 秒降至 0.68 秒，-43%
内存占用：相比完整历史约节省 90%

所有实验都以冻结的 Claude-3-Opus（175B）作为下游模型。据论文披露，MLPerf-LLM 社区进行了结果复现，确认收益并非来自精心挑选的随机种子——这一点对于判断方法的可靠性尤为重要。

成本视角

REMORY 云端接口按每 1K 残差 Token 收取 0.001 美元。一个每月处理 1000 万次用户轮次、每轮用 32 个残差 Token 的企业机器人，月成本约 320 美元。相比之下，存储并重新注入完整 8K Token 历史的成本约 2400 美元。换言之，REMORY 带来约 87% 的成本削减，同时将延迟砍半。

风险与悬而未决的问题

技术亮眼并不代表没有隐忧，论文本身也坦诚列出了几大风险：

Token 漂移是最现实的问题。残差 Token 编码的是「某一时间点」的信息差，一旦分布发生偏移（例如出现新的策略 ID），性能就会退化。缓解方式是定期微调编码器并监控精确匹配率的下降。

软 Token 的安全性同样值得警惕。连续向量是不透明的，恶意攻击者可能嵌入对抗性模式来操纵冻结的 LLM。SDK 为此提供了范数裁剪与 Token 校验钩子。

此外还有兼容性限制——一些即将推出的稀疏激活模型将提示词视作离散 Token 流，可能直接忽略软向量；以及知识产权与合规问题——残差向量嵌入了专有对话片段，外包 Token 生成会触及 GDPR/CCPA 的红线，建议企业自托管编码器。

延迟方面，编码器在单张 A100 上额外增加约 120ms，对实时语音助手而言可能超预算，可通过为可预测流程预计算残差 Token 来规避。

对抗性软提示（Adversarial Soft Prompt）攻击 是大模型安全领域近年来受到重视的威胁向量。由于连续向量不经过分词器的离散化过滤，攻击者可以在嵌入空间中精心构造一段对人类完全不可读的向量序列，却能诱导冻结的 LLM 输出特定内容——例如泄露系统提示、绕过内容策略或注入恶意指令。这与文本层面的提示注入攻击不同，后者依赖模型对自然语言的理解，前者直接在激活空间中操作，更难被基于规则的过滤器拦截。论文提到的「范数裁剪（norm clipping）」是一种缓解手段：通过限制残差向量的 L2 范数上界，压缩攻击者可利用的操控空间，但无法完全消除风险。对于将 REMORY 部署在高安全要求场景（如金融、医疗）的企业，自托管编码器并在向量注入前进行异常检测是目前更审慎的选择。

它可能走向何方

论文对未来的路线图给出了乐观预期：从集成进 Copilot 的「上下文感知」模式、降低代码补全的幻觉率，到视频生成管线中提升帧一致性，再到扩展为多模态残差（音频 + 文本），让语音助手跨越数小时交互记住语调与韵律线索。更长远地，甚至可能推动「残差记忆 Token」被纳入 LLM API 规范，成为标准化原语。

需要提醒的是，这些时间线和具体数字均来自论文的前瞻性叙述，属于预期而非既成事实，读者应保持审慎。

结语

REMORY 没有改写 Transformer 的缩放定律，但它重新定义了我们对上下文的理解。通过教会冻结 LLM 读取一段紧凑的、习得的「记忆后缀」，它绕开了上下文长度与延迟之间那个残酷的权衡。

下一波 LLM 产品很可能会将摘要器与残差记忆模块配对使用，就像现代浏览器把缓存与垃圾回收机制搭配在一起那样。真正的考验将出现在上下文预算突破 256K、却仍期望单条提示保留数月推理能力的时刻。若 REMORY 的早期结果经得起检验，那个未来看起来就不再是内存挤压的噩梦，而更像一个可管理的工程问题。