待验证50% 置信事实精确时间
Context Caching(上下文缓存)是模型厂商提供的计费优化机制,当多次请求共享同一段长前缀时,可标记缓存断点复用已计算的 KV Cache,按更低单价计费并降低首 token 延迟。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至:2027/1/17
来源
后端转AI Agent工程师:P7面试真正考什么
bilibiliAgent开发2026/10/19
涉及实体
相关事实
待验证Prompt Caching是指LLM服务商对请求中重复出现的前缀内容进行缓存,命中缓存则降低计算成本和延迟79% 相似待验证Prompt Caching 是 Anthropic API 等大模型服务商提供的机制:当请求前缀与之前请求完全一致时,服务端复用已计算的 KV Cache,命中缓存部分按输入价的 0.1 倍计费,首次写入缓存按 1.25 倍计价。77% 相似待验证Prefix Cache 优化是指当多轮对话中系统提示词保持不变时,API 服务端可缓存该前缀的 KV 计算结果供后续请求复用,减少重复计算、降低延迟和 Token 成本74% 相似已验证缓存机制在技术上通常被称为 KV Cache 或 Prompt Caching74% 相似待验证Anthropic提供的上下文缓存(Context Caching)技术允许重复使用已处理的上下文前缀,可降低多轮对话中的重复计算成本74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1066882API
curl https://kongchang.com/api/v1/knowledge/claims/1066882MCP
get_claim(id=1066882)