REMORY
发表于arXiv的论文，提出用极少量残差记忆软Token压缩长对话上下文的方法，通过32个残差向量序列以95%保真度恢复8K Token对话历史，实现LLM上下文压缩与记忆增强
时间轴 (近 90 天)
REMORY（2026-10-08）提出用一小组可学习的'软记忆令牌'补充文本摘要压缩，仅用5.2%的输入位置即达到接近全上下文的性能。
REMORY 声称一个 32 维度的残差向量序列能以 95% 的保真度恢复一段 8K Token 的对话
REMORY 的设计将记忆压缩与 LLM 微调彻底解耦，不触碰 LLM 本身的任何权重
REMORY 的编码器接收最长 64K Token 的原始历史和约 250 Token 的人类可读摘要，使用一个 12 层、768 维隐藏状态的 Transformer
REMORY 的残差解码器生成有界软 Token 序列，每个为 768 维向量，在 N ≤ 64 个 Token 后停止
REMORY 训练时使用 KL 散度衡量冻结 LLM 看到完整历史与看到摘要加残差 Token 时的输出分布差异
REMORY 训练数据来自 12TB 的多轮对话，摘要步骤由 GPT-4-Turbo 完成将每段对话压缩为 250 Token
REMORY 采用课程学习策略，早期 epoch 将 N 限制在 8 个 Token，后期逐步放宽到 64
REMORY 论文提出用极少量的残差记忆软 Token，让冻结的 LLM 几乎无损地复原长对话历史
在 64K Token 的 WebGPT-Long QA 基准上，REMORY 把 BLEU-4 从 23.1 提升到 31.7，涨幅达 37%
还有 7 条时间轴事件
全部知识事实 (17)
REMORY（2026-10-08）提出用一小组可学习的'软记忆令牌'补充文本摘要压缩，仅用5.2%的输入位置即达到接近全上下文的性能。
50%待验证REMORY 声称一个 32 维度的残差向量序列能以 95% 的保真度恢复一段 8K Token 的对话
50%待验证REMORY 的设计将记忆压缩与 LLM 微调彻底解耦，不触碰 LLM 本身的任何权重
50%待验证REMORY 的编码器接收最长 64K Token 的原始历史和约 250 Token 的人类可读摘要，使用一个 12 层、768 维隐藏状态的 Transformer
50%待验证REMORY 的残差解码器生成有界软 Token 序列，每个为 768 维向量，在 N ≤ 64 个 Token 后停止
50%待验证REMORY 训练时使用 KL 散度衡量冻结 LLM 看到完整历史与看到摘要加残差 Token 时的输出分布差异
50%待验证REMORY 训练数据来自 12TB 的多轮对话，摘要步骤由 GPT-4-Turbo 完成将每段对话压缩为 250 Token
50%待验证REMORY 采用课程学习策略，早期 epoch 将 N 限制在 8 个 Token，后期逐步放宽到 64
50%待验证REMORY 论文提出用极少量的残差记忆软 Token，让冻结的 LLM 几乎无损地复原长对话历史
50%待验证在 64K Token 的 WebGPT-Long QA 基准上，REMORY 把 BLEU-4 从 23.1 提升到 31.7，涨幅达 37%
50%待验证在 PersonaChat 多轮对话基准上，REMORY 将精确匹配率从 45.2% 提升至 58.9%，推理延迟从每步 1.2 秒降至 0.68 秒
50%待验证REMORY 所有实验以冻结的 Claude-3-Opus（175B）作为下游模型，MLPerf-LLM 社区进行了结果复现
50%待验证REMORY 云端接口按每 1K 残差 Token 收取 0.001 美元，相比存储完整历史带来约 87% 的成本削减
50%待验证软 Token 存在对抗性软提示攻击风险，攻击者可在嵌入空间构造向量操纵冻结 LLM，范数裁剪可作为缓解手段但无法完全消除
50%待验证REMORY 存在 Token 漂移风险，一旦数据分布偏移性能会退化，需定期微调编码器并监控精确匹配率
50%待验证REMORY 编码器在单张 A100 上额外增加约 120ms 延迟，可通过为可预测流程预计算残差 Token 来规避
50%待验证REMORY 在 64 块 A100 上训练 25 万步收敛，最终发布的 checkpoint 约 3.5 亿参数，占 1.4GB 显存
50%