稀疏注意力
一种改进Transformer注意力机制的技术方向，通过只保留'有价值的'注意力连接而非全量Token间交互，将计算复杂度从O(n²)降低，常见实现包括滑动窗口注意力、全局+局部混合注意力等，是实现超长上下文的核心方法之一
核心事实
时间轴 (近 90 天)
要在千万级上下文下保持可用效率，通常需要引入稀疏注意力、分块检索、状态空间模型或混合架构等优化。
当前主流的稀疏注意力实现可分为三类：全到达（full reach）、滑动窗口（sliding windows）以及学习型选择器（learned selectors）。
GLM-5.3-Flash 的注意力架构将计算拆为线性注意力（O(n)递归状态，处理近期token）和稀疏注意力（轻量索引器回扫全局上下文，只拉取相关远端片段）两条路径。
稀疏注意力通过只让每个token关注序列中的子集，将计算复杂度降至接近线性
稀疏注意力对需要跨越长距离依赖的任务可能遗漏关键信息，因此实践中常与检索增强（RAG）结合使用
采用稀疏注意力可将KV缓存压缩到约1/4，同等内存预算下支持约4倍于全注意力的上下文长度
许多线性注意力或稀疏注意力方法在压缩计算的同时会损失对历史信息的精确检索能力
论文将稀疏注意力重新表述为矩阵近似（matrix approximation）问题，而非从一袋条目中挑选最大值的问题
现有主流稀疏注意力方法通过保留注意力矩阵中数值较大的条目或高质量区域来筛选交互
稀疏注意力将每个query只与k个key交互（k远小于n），将复杂度降至O(nk)
还有 3 条时间轴事件
全部知识事实 (13)
Informer通过ProbSparse稀疏注意力将自注意力计算复杂度从O(n²)降至O(n log n)
70%待验证要在千万级上下文下保持可用效率，通常需要引入稀疏注意力、分块检索、状态空间模型或混合架构等优化。
50%待验证当前主流的稀疏注意力实现可分为三类：全到达（full reach）、滑动窗口（sliding windows）以及学习型选择器（learned selectors）。
50%待验证GLM-5.3-Flash 的注意力架构将计算拆为线性注意力（O(n)递归状态，处理近期token）和稀疏注意力（轻量索引器回扫全局上下文，只拉取相关远端片段）两条路径。
50%待验证稀疏注意力通过只让每个token关注序列中的子集，将计算复杂度降至接近线性
50%待验证采用稀疏注意力可将KV缓存压缩到约1/4，同等内存预算下支持约4倍于全注意力的上下文长度
50%待验证稀疏注意力对需要跨越长距离依赖的任务可能遗漏关键信息，因此实践中常与检索增强（RAG）结合使用
50%待验证许多线性注意力或稀疏注意力方法在压缩计算的同时会损失对历史信息的精确检索能力
50%待验证现有主流稀疏注意力方法通过保留注意力矩阵中数值较大的条目或高质量区域来筛选交互
50%待验证稀疏注意力将每个query只与k个key交互（k远小于n），将复杂度降至O(nk)
50%待验证论文将稀疏注意力重新表述为矩阵近似（matrix approximation）问题，而非从一袋条目中挑选最大值的问题
50%待验证业界改善长上下文注意力衰减的方案包括稀疏注意力、滑动窗口注意力和RoPE位置编码外推，但目前没有任何方案能完全消除这一根本性限制
50%待验证投机解码通过小型草稿模型生成候选token由主模型并行验证以提升推理速度；稀疏注意力将计算复杂度从O(n²)降至接近O(n)
50%