待验证50% 置信事实精确时间
缓存复用（Cache Reuse）是大语言模型API调用的成本优化机制，当请求前缀与之前请求一致时可复用已计算的KV缓存，跳过重复计算，降低延迟和成本
1
来源数
50%
置信度
长期有效
时效性
2026/9/23
首次发现
来源
涉及实体
相关事实
待验证前缀缓存（Prefix Caching）技术通过将已计算的KV向量持久化存储在服务端，当新请求与之前请求存在大量重复前缀时可直接复用，匹配部分按缓存价格计费71% 相似待验证在性能敏感的代码中，显式使用view并手动管理连续性优于使用reshape，因为reshape可能带来额外的内存开销和计算时间68% 相似待验证Prompt Cache机制中，当API请求前缀内容与之前相同时系统复用已计算的KV缓存以更低价格完成缓存读取，缓存写入是首次将内容写入缓存时的计费项68% 相似待验证缓存命中指模型服务端识别当前请求前缀与历史请求高度重合，直接复用已计算的KV缓存而无需重新推理，从而降低实际计算量67% 相似待验证在API调用层实现带指数退避的重试逻辑并对高频请求结果进行缓存，能在服务短暂波动时提供缓冲66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/943145API
curl https://kongchang.com/api/v1/knowledge/claims/943145MCP
get_claim(id=943145)