待验证50% 置信事实精确时间
Transformer的KV缓存大小随序列长度线性增长，而Mamba2的递归状态缓存大小与上下文长度无关，只取决于状态维度和层数。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
Mamba2-8B压缩研究：27MB缓存与3.14GB模型
redditr/deeplearning2026/10/16
涉及实体
相关事实
待验证KV缓存存储Transformer注意力计算中的键值对，随序列长度线性增长66% 相似待验证在 Transformer 推理中，KV 缓存占用的显存可达总显存的 30%-60%66% 相似已验证KV缓存的大小与上下文长度线性增长，Qwen 2.5 32B 在64K上下文下的KV缓存可能额外占用数GB内存63% 相似待验证由于专家剪枝保留了注意力架构和 KV 缓存格式，KV 缓存交接不需要任何缓存转换，运行时只需在两个阶段之间切换权重掩码。62% 相似待验证LFM2.5-24B-A2B 的 KV 缓存增长速度远低于同深度纯 Transformer，因为只有 10 层是注意力层，长上下文的内存开销显著较低。61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1048600API
curl https://kongchang.com/api/v1/knowledge/claims/1048600MCP
get_claim(id=1048600)