模型
KVFetch
KVFetch是一个无需训练、即插即用的KV缓存压缩框架，通过引入时序召回通道解决现有压缩方案中的「顺序遗忘」问题，核心机制包括冷热分层、单调读指针等模块
时间轴 (近 90 天)
10月8日
KVFetch是一个无需训练、即插即用的框架，可为任何基于得分的压缩器开辟时序召回通道
待验证50%
10月8日
KVFetch的核心机制分三步：冷热分层（将被驱逐token降级到量化冷层）、单调读指针检测、位置后继预取
待验证50%
10月8日
KVFetch将被访问token的位置后继预取到固定大小的热层槽位中，不会增加注意力计算成本
待验证50%
10月8日
在RULER-16K数据集的等预算对照实验中，KVFetch使逐字拷贝得分从0.8恢复到78.4
待验证50%
10月8日
在RULER-16K实验中，KVFetch使13项任务的平均分提升了+8.4，增益主要集中在需要顺序访问的任务上
待验证50%
10月8日
在LongBench测试中由于没有任务需要顺序访问，KVFetch的时序召回通道保持休眠状态，不产生额外开销
待验证50%
10月8日
作者认为针对顺序访问的优化很可能成为长上下文推理栈中的标准组件
待验证50%
全部知识事实 (7)
待验证
KVFetch是一个无需训练、即插即用的框架，可为任何基于得分的压缩器开辟时序召回通道
50%待验证KVFetch的核心机制分三步：冷热分层（将被驱逐token降级到量化冷层）、单调读指针检测、位置后继预取
50%待验证KVFetch将被访问token的位置后继预取到固定大小的热层槽位中，不会增加注意力计算成本
50%待验证在RULER-16K数据集的等预算对照实验中，KVFetch使逐字拷贝得分从0.8恢复到78.4
50%待验证在RULER-16K实验中，KVFetch使13项任务的平均分提升了+8.4，增益主要集中在需要顺序访问的任务上
50%待验证在LongBench测试中由于没有任务需要顺序访问，KVFetch的时序召回通道保持休眠状态，不产生额外开销
50%待验证作者认为针对顺序访问的优化很可能成为长上下文推理栈中的标准组件
50%