待验证70% 置信事实精确时间
提示词缓存技术将KV矩阵存储在高速内存中，当下一次请求包含相同前缀内容时直接读取缓存跳过重算
2
来源数
70%
置信度
长期有效
时效性
2026/9/4
首次发现
来源
涉及实体
相关事实
已验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高80% 相似部分验证在 Anthropic 的 API 计费体系中，提示词缓存（prompt caching）允许将稳定前缀标记为缓存内容，后续相同前缀直接复用 KV 而不重新计算注意力，这部分 token 记为「缓存读取」。76% 相似待验证缓存读取（KV Cache）机制通过复用已计算的中间结果避免对相同文本重复执行前向推理，从而降低长上下文高频调用场景的Token成本76% 相似已验证前缀缓存通过缓存常见的提示词前缀来减少重复计算，从而提升推理效率74% 相似待验证Prefill阶段对整段输入做一次前向计算，产生所有位置的KV缓存，属于计算密集型（compute-bound）；Decode阶段逐Token自回归生成，属于内存带宽密集型（memory-bound）。74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/855488API
curl https://kongchang.com/api/v1/knowledge/claims/855488MCP
get_claim(id=855488)