待验证50% 置信事实精确时间
Gemma 4 E2B 每层只存储一个 KV 头，其 35 层中有 28 层仅保留 512 token 的滑动窗口，20 层复用更早层的缓存。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证Spark X 2.5每个全局层每Token约存4KB KV Cache，9层加起来每Token约37KB，使KV Cache占用仅为每层都记全文方案的约四分之一65% 相似待验证该模型从三个维度压缩缓存：64个查询头共享一个latent、编码器中相邻两个token压缩成一个条目、40层中只有4层保留缓存其余36层不存储65% 相似待验证对于 LLaMA-2 70B 模型，处理 4096 token 的上下文时，FP16 精度下 KV Cache 约需 20GB 系统内存64% 相似待验证KV缓存量化选择Q4_0，能将缓存体积压缩到FP16的约四分之一，且对输出质量影响远小于模型权重量化63% 相似已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1014584API
curl https://kongchang.com/api/v1/knowledge/claims/1014584MCP
get_claim(id=1014584)