待验证50% 置信事实精确时间
KV缓存中，缓存写入通常比普通输入token贵约25%，但缓存读取便宜约90%。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至：2027/1/11
来源
涉及实体
相关事实
待验证PagedAttention 把 KV Cache 切成固定大小的块，按需分配、非连续存放，使显存利用率从传统的 20%～40% 提升到 90% 以上。73% 相似待验证将 KV 缓存从 FP16 降至 INT8 可节省 50% 显存，降至 INT4 则节省 75%72% 相似待验证Prompt缓存（KV Cache）在相同系统提示多次使用时可复用缓存的KV矩阵，通常将延迟降低40-60%、成本降低50-90%72% 相似已验证提示词缓存通过在服务器端保存已计算的 KV 矩阵，将重复前缀的处理从 O(n²) 降低至 O(1) 的缓存读取，可实现高达90%的延迟和成本压缩71% 相似待验证量化后的 MLX KV 缓存相比之前可减少高达 74% 的提示词内存占用70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1014899API
curl https://kongchang.com/api/v1/knowledge/claims/1014899MCP
get_claim(id=1014899)