MemFold
一种将长对话历史压缩为固定256个潜在向量的软记忆方法，通过可训练的写入/阅读模型实现长上下文推理，在不增加输入占用的前提下提升效率
时间轴 (近 90 天)
MemFold将任意长度的对话压缩成少量潜在向量，阅读模型将这些向量当作普通token消费，无需处理完整原始转录文本
MemFold固定使用K=256个连续向量，无论原始历史是32K还是128K token，模型的输入占用都不会增加
MemFold的软记忆大小不依赖于历史长度，是尺寸无关的
MemFold使用一个专门的写入模型将原始对话历史编码为256个向量，该写入模型参数端到端可训练
MemFold的记忆向量是连续、可微的，梯度可以穿透记忆接口反向传播
MemFold在每一个基准和每一个骨干模型上都取得了最高准确率，仅在PrefEval的一个单元格上与最强基线打平
MemFold端到端平均成本接近全上下文推理，并且在三个骨干模型上的总体成本更低
MemFold在PersonaMem-128K上准确率更高、总体成本更低，在PrefEval上与最强基线持平
MemFold的主要训练场景是persona驱动的个性化任务，但能在无目标域训练的情况下迁移到PrefEval和LongMemEval
MemFold采用on-policy优化和置信度门控蒸馏训练，后者需要一个带冻结教师模型的额外训练阶段
还有 2 条时间轴事件
全部知识事实 (12)
MemFold将任意长度的对话压缩成少量潜在向量，阅读模型将这些向量当作普通token消费，无需处理完整原始转录文本
50%待验证MemFold固定使用K=256个连续向量，无论原始历史是32K还是128K token，模型的输入占用都不会增加
50%待验证MemFold的软记忆大小不依赖于历史长度，是尺寸无关的
50%待验证MemFold使用一个专门的写入模型将原始对话历史编码为256个向量，该写入模型参数端到端可训练
50%待验证MemFold的记忆向量是连续、可微的，梯度可以穿透记忆接口反向传播
50%待验证MemFold在每一个基准和每一个骨干模型上都取得了最高准确率，仅在PrefEval的一个单元格上与最强基线打平
50%待验证MemFold端到端平均成本接近全上下文推理，并且在三个骨干模型上的总体成本更低
50%待验证MemFold在PersonaMem-128K上准确率更高、总体成本更低，在PrefEval上与最强基线持平
50%待验证MemFold的主要训练场景是persona驱动的个性化任务，但能在无目标域训练的情况下迁移到PrefEval和LongMemEval
50%待验证MemFold采用on-policy优化和置信度门控蒸馏训练，后者需要一个带冻结教师模型的额外训练阶段
50%待验证MemFold的软记忆预算被固定在256个向量，扩展到更大规模可能需要重新设计架构
50%待验证作者认为若结果能在更多领域复现，朴素拼接用户历史的标准做法就应该被放弃
50%