待验证50% 置信事实精确时间
滑动窗口注意力让每个 token 只关注固定长度窗口内的邻近 token，从而将注意力计算与 KV 缓存从随序列长度线性增长降为常数级。
1
来源数
50%
置信度
长期有效
时效性
2026/10/21
首次发现
来源
涉及实体
相关事实
待验证上下文越长，模型需要缓存的 KV Cache 越大，KV Cache 使模型生成新 Token 时无需重新计算所有历史 Token 的注意力权重79% 相似待验证端侧部署常配套使用 KV cache 量化（如压到 4 或 8 比特）、分组查询注意力（GQA）以及滑动窗口或稀疏注意力等机制75% 相似待验证Reference Sliding Window Attention (R-SWA) 在滑动窗口基础上引入固定参考位置，使 KV cache 在解码过程中保持恒定大小，同时不牺牲跨页上下文一致性。72% 相似待验证滑动窗口注意力的KV Cache大小恒定，实现O(1)的显存占用而非O(n)71% 相似待验证KV缓存存储Transformer注意力计算中的键值对，随序列长度线性增长71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1082479API
curl https://kongchang.com/api/v1/knowledge/claims/1082479MCP
get_claim(id=1082479)