待验证50% 置信权衡取舍精确时间
启用 MTP 草稿头会引入额外的注意力层 KV 需求，导致可用于 KV cache 的 token 容量从 767,317 降至 592,164，下降约 23%。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
涉及实体
相关事实
已验证MLA 通过低秩分解将 KV Cache 压缩为低维潜在向量，其 d_latent 约为 d_model 的 1/8，可将 KV Cache 显存占用降低至传统多头注意力的 5%-13%71% 相似待验证量化后的 MLX KV 缓存相比之前可减少高达 74% 的提示词内存占用71% 相似已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存68% 相似待验证PagedAttention 把 KV Cache 切成固定大小的块，按需分配、非连续存放，使显存利用率从传统的 20%～40% 提升到 90% 以上。67% 相似待验证当模型权重和 KV Cache 无法完全载入 GPU 显存时需将部分数据交换到主内存（offloading），会使推理速度下降一到两个数量级67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1033167API
curl https://kongchang.com/api/v1/knowledge/claims/1033167MCP
get_claim(id=1033167)