待验证50% 置信事实精确时间
Llama 3.1 70B采用8个KV头而非64个注意力头，使KV cache体量降至原来的约八分之一。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/18
首次发现
有效期至：2027/1/16
来源
涉及实体
相关事实
待验证MLA（Multi-head Latent Attention）通过低秩压缩将 KV 缓存的显存占用降低至传统 MHA 的约 1/873% 相似待验证启用 MTP 草稿头会引入额外的注意力层 KV 需求，导致可用于 KV cache 的 token 容量从 767,317 降至 592,164，下降约 23%。70% 相似已验证多头潜在注意力机制（MLA）通过将KV投影到低维潜在空间压缩存储，将KV Cache显存占用降低至传统方法的5%至13%70% 相似待验证采用稀疏注意力可将KV缓存压缩到约1/4，同等内存预算下支持约4倍于全注意力的上下文长度70% 相似待验证以LLaMA-3 70B模型为例，在80层、head_dim=128、BF16精度下，每个token大约占用80KB的KV缓存70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1058846API
curl https://kongchang.com/api/v1/knowledge/claims/1058846MCP
get_claim(id=1058846)