待验证50% 置信事实精确时间
DeepSeek-Infer支持滑动窗口的有限重放,状态恢复时只回放最近一小段token以减少重复计算。
1
来源数
50%
置信度
长期有效
时效性
2026/10/23
首次发现
来源
DeepSeek开源推理框架DeepInfer全解析:大模型推理优化揭秘
bilibili程序员暮闲2026/10/23
涉及实体
相关事实
待验证DeepSeek 的部分模型层使用滑动窗口注意力,只关注最近的 128 个 token;SWA 有界重放只重放提示末尾的短窗口,据称几乎消除总预填充工作量。72% 相似待验证DeepSeek Harness 在模型用完全相同参数重复调用时,会在第 3、5、8 次加一句提醒让模型换方法或结束,但不强制阻止64% 相似待验证DeepSeek 官方按量渠道支持 prompt 缓存,命中缓存的内容后续步骤不重复计费63% 相似待验证DeepInfer采用SWA有界重放技术,将重建缓存时重算的最后2560个词减少到128个,使总预填充计算量几乎减半,长上下文成本与长度脱钩。63% 相似待验证DeepSeek Harness的任务被中途杀掉后能凭借持久化的状态从中断处精确续接63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1088525API
curl https://kongchang.com/api/v1/knowledge/claims/1088525MCP
get_claim(id=1088525)