概念有限重放
滑动窗口有限重放
针对推理状态恢复场景的优化技术,只回放最近窗口内的token,复用之前缓存的中间状态以减少重复计算。
时间轴 (近 90 天)
10月23日
DeepSeek-Infer支持滑动窗口的有限重放,状态恢复时只回放最近一小段token以减少重复计算。
待验证50%
针对推理状态恢复场景的优化技术,只回放最近窗口内的token,复用之前缓存的中间状态以减少重复计算。
DeepSeek-Infer支持滑动窗口的有限重放,状态恢复时只回放最近一小段token以减少重复计算。