待验证50% 置信事实精确时间
前缀缓存将提示词按固定大小(如 16 token)切分为缓存页,每页对应一段 KV,并建立哈希索引;新请求到达时逐页比对输入 token,命中即可引用已算好的 KV 页并跳过对应的预填充计算。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
已验证KV Cache机制可以缓存重复的前缀内容,越简洁的系统提示词缓存命中率越高75% 相似待验证在 Anthropic 的 API 计费体系中,提示词缓存(prompt caching)允许将稳定前缀标记为缓存内容,后续相同前缀直接复用 KV 而不重新计算注意力,这部分 token 记为「缓存读取」。74% 相似待验证KV Cache 通过缓存历史 Token 的 K、V 值避免自回归推理中的重复计算,新 Token 只需计算自身 Q71% 相似待验证Prompt Caching要求提示满足最小可缓存长度(Anthropic通常为1024 Token),且前缀必须逐字节一致才能命中缓存70% 相似待验证KV cache 复用时,缓存的中间激活值在批大小或序列拼接方式改变时可能导致相同输入产生不同的 logit 输出69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1048416API
curl https://kongchang.com/api/v1/knowledge/claims/1048416MCP
get_claim(id=1048416)