待验证50% 置信事实精确时间
Reference Sliding Window Attention (R-SWA) 在滑动窗口基础上引入固定参考位置，使 KV cache 在解码过程中保持恒定大小，同时不牺牲跨页上下文一致性。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
待验证FP8 KV cache是将注意力机制中的Key-Value缓存从FP16或BF16压缩到8位的量化技术，可将KV cache显存占用减半70% 相似已验证KV Cache通过缓存已计算的Key和Value矩阵避免重复运算，PagedAttention等进阶技术进一步优化缓存内存管理效率70% 相似待验证KV Cache内存占用与层数×注意力头数×上下文长度×精度成正比，GQA通过让多个查询头共享同一组Key-Value头来减少缓存量，Llama 2/3和Qwen系列已采用此设计68% 相似待验证百度的 UnlimitedOcr 是一个 3B 参数的 OCR 模型，上下文长度 32,768 tokens，基于 DeepSeek OCR 构建，用 Reference Sliding Window Attention (R-SWA) 替换所有解码器注意力层，使 KV cache 保持恒定，可在单次前向传播中转写数十页。68% 相似已验证KV缓存（Key-Value Cache）策略将已计算的注意力键值对存储在GPU显存中以供复用，会大量占用GPU内存资源68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1039070API
curl https://kongchang.com/api/v1/knowledge/claims/1039070MCP
get_claim(id=1039070)