待验证50% 置信事实精确时间
LFM2.5-24B-A2B 的 KV 缓存增长速度远低于同深度纯 Transformer，因为只有 10 层是注意力层，长上下文的内存开销显著较低。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证MLA（Multi-head Latent Attention）通过低秩压缩将 KV 缓存的显存占用降低至传统 MHA 的约 1/872% 相似待验证GQA 将注意力头分组共享 KV 投影，可将 KV 缓存压缩至原来的 1/4 甚至更低而几乎不损失模型质量71% 相似待验证KV缓存存储Transformer注意力计算中的键值对，随序列长度线性增长70% 相似待验证量化后的 MLX KV 缓存相比之前可减少高达 74% 的提示词内存占用70% 相似已验证MLA 通过低秩分解将 KV Cache 压缩为低维潜在向量，其 d_latent 约为 d_model 的 1/8，可将 KV Cache 显存占用降低至传统多头注意力的 5%-13%70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1029966API
curl https://kongchang.com/api/v1/knowledge/claims/1029966MCP
get_claim(id=1029966)