概念Kimi Delta Attention
KDA
一种线性注意力机制变体，由Kimi（Moonshot AI）提出，通过固定大小的循环隐状态替代逐步增长的KV缓存，将注意力计算复杂度从O(n²)降至O(n)，显著降低长序列推理的显存消耗
时间轴 (近 90 天)
10月12日
根据 vLLM 配置和 Z.ai 文档，GLM-5.3-Flash 的45层模型将 KDA 线性注意力层与 NoPE 稀疏 MLA 层交替堆叠。
待验证50%
10月5日
模型层级构成为 54 层 KDA（Kimi Delta Attention）线性注意力、17 层 BCSA 压缩稀疏注意力、1 层全注意力（第72层）
待验证50%
10月5日
KDA 是线性注意力机制变体，使用固定大小的循环状态，不保留 KV 缓存
待验证50%
10月4日
Kimi Linear是月之暗面(Moonshot AI)推出的混合线性注意力架构，核心是Kimi Delta Attention(KDA)，大部分层使用KDA，每隔四层保留一个复用DeepSeek-V3 MLA的全注意力块
待验证50%
全部知识事实 (4)
待验证
根据 vLLM 配置和 Z.ai 文档，GLM-5.3-Flash 的45层模型将 KDA 线性注意力层与 NoPE 稀疏 MLA 层交替堆叠。
50%待验证模型层级构成为 54 层 KDA（Kimi Delta Attention）线性注意力、17 层 BCSA 压缩稀疏注意力、1 层全注意力（第72层）
50%待验证KDA 是线性注意力机制变体，使用固定大小的循环状态，不保留 KV 缓存
50%待验证Kimi Linear是月之暗面(Moonshot AI)推出的混合线性注意力架构，核心是Kimi Delta Attention(KDA)，大部分层使用KDA，每隔四层保留一个复用DeepSeek-V3 MLA的全注意力块
50%