待验证50% 置信解决方案精确时间
V4.1 采用 SWA 有界重放：只重新计算最后 128 个 token，注意力也只在这 128 个 token 之内，得到近似的窗口缓存；重算成本变成常数，Decoder 的 20 层原本要处理最后 2560 个 token，现在只需处理 128 个，预填充总计算量少了接近一半。
1
来源数
50%
置信度
长期有效
时效性
2026/10/23
首次发现
来源
DeepSeek开源推理引擎DeepInfer：把省钱的门道全摊开了
bilibili最佳拍档大飞2026/10/23
涉及实体
相关事实
已验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存69% 相似待验证一个 AWS 示例应用在 28 次审查同一文档的调用中，CloudWatch 记录了 196,680 个 token 写入缓存、0 个读取，原因是缓存点被放在每个条目自身指令之后；将缓存点移到文档之后后，第二个条目立即变为 4,624 个 token 的读取。68% 相似待验证对于该架构，每 token 缓存字节数不是常数；仅窗口层的等效字节/token 在上下文为 8,192 时约为 688.0，131,072 时约为 43.0，1,048,576 时约为 5.4。68% 相似待验证模型原生支持256K Token上下文，可通过YaRN技术实现4倍缩放扩展至约100万Token66% 相似已验证RAG实践中chunk_size通常设置在256至1024 token之间，并保留约10%至20%的重叠（Overlap）66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1090444API
curl https://kongchang.com/api/v1/knowledge/claims/1090444MCP
get_claim(id=1090444)