Latent Compaction
一种通过测试时训练将KV缓存视为可训练神经网络进行压缩的方法，为每个文档学习紧凑缓存，模型权重保持冻结，无需访问下游问答即可提升长上下文推理效率。
时间轴 (近 90 天)
Latent Compaction 将 KV 缓存本身视为一个可训练的神经网络，并通过测试时训练进行优化。
Latent Compaction 由清华 THUNLP 团队提出。
Latent Compaction 在 RULER 基准 32 倍压缩率下达到 96.7% 准确率，而 KVZip+ 仅为 40.0%。
Latent Compaction 训练仅使用关于文档的通用提示，不访问任何下游问题或答案。
Latent Compaction 为每个文档学习一个紧凑的、文档特定的缓存，而模型权重保持冻结。
Latent Compaction 的缓存条目初始化融合了重建重要性、教师注意力和键空间多样性三种信号。
Latent Compaction 训练分为两个阶段：第一阶段拟合完整缓存的注意力输出和对数归一化器，第二阶段通过端到端蒸馏联合优化整个缓存。
Latent Compaction 在 Qwen3 和 MiniCPM5 上均取得检索增益，展现出跨模型家族迁移能力。
Latent Compaction 在 RULER、LongBench 和 Phonebook Lookup 等基准测试中展现出优势。
Latent Compaction 代码已在 GitHub 开源，仓库为 THUNLP/latent-compaction。
还有 1 条时间轴事件
全部知识事实 (11)
Latent Compaction 揭示的趋势是推理过程中的静态组件可以通过测试时训练动态适应输入。
50%待验证Latent Compaction 由清华 THUNLP 团队提出。
50%待验证Latent Compaction 在 RULER 基准 32 倍压缩率下达到 96.7% 准确率，而 KVZip+ 仅为 40.0%。
50%待验证Latent Compaction 训练仅使用关于文档的通用提示，不访问任何下游问题或答案。
50%待验证Latent Compaction 为每个文档学习一个紧凑的、文档特定的缓存，而模型权重保持冻结。
50%待验证Latent Compaction 的缓存条目初始化融合了重建重要性、教师注意力和键空间多样性三种信号。
50%待验证Latent Compaction 训练分为两个阶段：第一阶段拟合完整缓存的注意力输出和对数归一化器，第二阶段通过端到端蒸馏联合优化整个缓存。
50%待验证Latent Compaction 在 Qwen3 和 MiniCPM5 上均取得检索增益，展现出跨模型家族迁移能力。
50%待验证Latent Compaction 在 RULER、LongBench 和 Phonebook Lookup 等基准测试中展现出优势。
50%待验证Latent Compaction 将 KV 缓存本身视为一个可训练的神经网络，并通过测试时训练进行优化。
50%待验证Latent Compaction 代码已在 GitHub 开源，仓库为 THUNLP/latent-compaction。
50%