概念re-prefill
重新预填充
在LLM推理中，当KV缓存被破坏或前缀不连续时，模型需要重新对输入序列进行前向计算以重建缓存的过程，会带来额外的延迟和计算开销。
时间轴 (近 90 天)
10月21日
传统方法通过上下文工程裁剪或摘要历史来缩减KV缓存，会破坏轨迹前缀的连续性，导致保留上下文需要重新预填充（re-prefill），增加延迟并可能牺牲任务准确率。
待验证50%
在LLM推理中，当KV缓存被破坏或前缀不连续时，模型需要重新对输入序列进行前向计算以重建缓存的过程，会带来额外的延迟和计算开销。
传统方法通过上下文工程裁剪或摘要历史来缩减KV缓存，会破坏轨迹前缀的连续性，导致保留上下文需要重新预填充（re-prefill），增加延迟并可能牺牲任务准确率。