待验证50% 置信事实精确时间
提示缓存是主流大模型 API 提供商推出的一种推理优化机制:当请求的前缀部分与之前某次请求完全一致时,服务端可直接复用已计算好的 KV 缓存,无需重新进行前向计算。
1
来源数
50%
置信度
长期有效
时效性
2026/10/27
首次发现
来源
涉及实体
相关事实
待验证缓存命中指模型服务端识别当前请求前缀与历史请求高度重合,直接复用已计算的KV缓存而无需重新推理,从而降低实际计算量80% 相似已验证提示缓存的核心原理是KV Cache的跨请求复用,当多个请求共享相同前缀时已计算的KV状态可被缓存复用79% 相似待验证Prompt 缓存是 Anthropic API 的一项能力:当请求的前缀部分与上一次请求完全一致时,服务端可以复用已计算好的中间状态,跳过重复的预填充计算。78% 相似待验证Prompt Caching 是跨请求、跨用户、跨对话的优化,只要不同请求的提示词前缀完全一致,对应的 KV 结果就能全局共享。76% 相似已验证常规 KV 缓存是单请求内的优化,同一轮对话里历史消息生成的 KV 不需要重复计算,只增量计算新输入的内容。75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1104894API
curl https://kongchang.com/api/v1/knowledge/claims/1104894MCP
get_claim(id=1104894)