概念Block-wise Compressed Sparse Attention / 压缩稀疏注意力
BCSA
一种混合稀疏注意力机制，对近期token保留精确滑动窗口注意力，对远程历史进行池化压缩后由可学习索引模块检索最相关的块，在局部精度与长程覆盖之间取得平衡
时间轴 (近 90 天)
10月5日
模型层级构成为 54 层 KDA（Kimi Delta Attention）线性注意力、17 层 BCSA 压缩稀疏注意力、1 层全注意力（第72层）
待验证50%
10月5日
BCSA 对最近 4096 个 token 做精确窗口注意力，更久远的上下文按 4:1 池化成块，再由可学习的 indexer 读取 top 512 个块
待验证50%