待验证50% 置信事实精确时间
由于专家剪枝保留了注意力架构和 KV 缓存格式，KV 缓存交接不需要任何缓存转换，运行时只需在两个阶段之间切换权重掩码。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证KV Cache只缓存K和V而不缓存Q，因为Q只在当前步被使用，用完即弃，而历史的K、V在后续每一步都会被重新访问71% 相似已验证KV Cache通过缓存已计算的Key和Value矩阵避免重复运算，PagedAttention等进阶技术进一步优化缓存内存管理效率71% 相似待验证上下文越长，模型需要缓存的 KV Cache 越大，KV Cache 使模型生成新 Token 时无需重新计算所有历史 Token 的注意力权重71% 相似待验证FP8 KV cache是将注意力机制中的Key-Value缓存从FP16或BF16压缩到8位的量化技术，可将KV cache显存占用减半70% 相似待验证Prompt缓存（KV Cache）在相同系统提示多次使用时可复用缓存的KV矩阵，通常将延迟降低40-60%、成本降低50-90%70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1042670API
curl https://kongchang.com/api/v1/knowledge/claims/1042670MCP
get_claim(id=1042670)