模型KVZip+
KVZip+
一种基于预算匹配的KV缓存压缩方法,先估计每个缓存条目的重要性分数,再在给定预算下保留或合并条目,无需额外训练,但在高压缩率下信息丢失严重。
时间轴 (近 90 天)
10月15日
Latent Compaction 在 RULER 基准 32 倍压缩率下达到 96.7% 准确率,而 KVZip+ 仅为 40.0%。
待验证50%
一种基于预算匹配的KV缓存压缩方法,先估计每个缓存条目的重要性分数,再在给定预算下保留或合并条目,无需额外训练,但在高压缩率下信息丢失严重。
Latent Compaction 在 RULER 基准 32 倍压缩率下达到 96.7% 准确率,而 KVZip+ 仅为 40.0%。