概念
SWA有界重放
DeepInfer中的缓存优化技术，通过限制重放窗口减少长上下文预填充计算量
时间轴 (近 90 天)
10月23日
DeepInfer采用SWA有界重放技术，将重建缓存时重算的最后2560个词减少到128个，使总预填充计算量几乎减半，长上下文成本与长度脱钩。
待验证50%
10月13日
vLLM此次通过SWA有界重放、内核融合等手段压缩了预填充阶段的计算与访存开销
待验证50%
DeepInfer中的缓存优化技术，通过限制重放窗口减少长上下文预填充计算量
DeepInfer采用SWA有界重放技术，将重建缓存时重算的最后2560个词减少到128个，使总预填充计算量几乎减半，长上下文成本与长度脱钩。
vLLM此次通过SWA有界重放、内核融合等手段压缩了预填充阶段的计算与访存开销