概念bounded replay
有界重放
推理引擎处理滑动窗口注意力层时的优化机制,只为窗口范围内的有限历史保留KV缓存,避免为窗口外Token浪费显存并在预填充阶段减少重复计算
时间轴 (近 90 天)
9月11日
有界重放的滑动窗口只重放最近128个Token,接受近似误差以解决缓存落盘难题
待验证50%
推理引擎处理滑动窗口注意力层时的优化机制,只为窗口范围内的有限历史保留KV缓存,避免为窗口外Token浪费显存并在预填充阶段减少重复计算
有界重放的滑动窗口只重放最近128个Token,接受近似误差以解决缓存落盘难题