Prompt Caching
Anthropic推出的定价优化机制,对请求中可复用的固定前缀部分(如System Prompt)对应的Token给予费用折扣,将KV Cache节省反映到计费中
核心事实
时间轴 (近 90 天)
在系统提示词中嵌入时间戳等动态字段会使提示缓存无法命中,因为缓存采用前缀级逐 token 精确匹配。
调整 reasoning effort 会清空整个提示缓存,因为不同 reasoning effort 对应不同计算路径和系统配置,缓存条目无法跨配置复用。
将动态信息移到用户消息中、置于静态前缀之后,或直接省略,是避免提示缓存失效的常见工程做法。
顾问被调用时会将完整会话作为输入重新读取,且这部分读取不进入 prompt caching,因此每次召唤按全价计算输入 token;主模型的缓存不受影响,顾问返回的建议会在后续步骤中本地缓存。
顾问模型每次被调用都会从头重新读取整个会话历史,且顾问自身的读取不被缓存,而主模型的缓存保持完整。
12 万 Token 的上下文停 6 分钟后,原本 0.024 美元的缓存读取会变成 0.60 美元的上下文重写。
主流云厂商的提示缓存(Prompt Caching)通过复用相同前缀的KV Cache降低重复输入开销,但只加速预填充阶段,模型仍需为每个新问题生成后续推理token。
Anthropic的提示词缓存通常约5分钟无请求即失效,失效后再用需按写入价重新计费。
Anthropic的提示词缓存读取最低只收5%的费用,而过期重写则要翻倍计费。
要通过 prompt caching 获得高缓存命中率,需将稳定内容放在 prompt 前部、易变内容放在末尾,并保持请求前缀逐字节一致。
还有 40 条时间轴事件
全部知识事实 (20)
Claude API 支持提示缓存(Prompt Caching)机制,内容首次请求计费全价,后续命中缓存的 token 费用约为原价的 10%
80%已验证提示缓存的核心原理是KV Cache的跨请求复用,当多个请求共享相同前缀时已计算的KV状态可被缓存复用
80%已验证提示词缓存(Prompt Caching)机制可复用相同前缀上下文的 KV Cache,通常可节省 50%~90% 的输入 token 成本
80%已验证Prompt Caching 是 Anthropic API 等大模型服务商提供的机制:当请求前缀与之前请求完全一致时,服务端复用已计算的 KV Cache,命中缓存部分按输入价的 0.1 倍计费,首次写入缓存按 1.25 倍计价。
75%已验证Prompt 缓存是 Anthropic API 的一项能力:当请求的前缀部分与上一次请求完全一致时,服务端可以复用已计算好的中间状态,跳过重复的预填充计算。
75%已验证缓存并非永久有效,供应商通常有几分钟到一小时的 TTL,命中率会随用户行为波动。
75%已验证更少的输入Token通常意味着更低的处理延迟
75%已验证实现缓存命中的通用原则是保持请求上下文的前缀尽可能稳定,将系统提示、工具定义等固定内容置于最前端,每轮变化的用户输入追加在末尾
75%已验证提示词缓存能否命中取决于请求前缀的逐字节一致性,只要开头有一个字符不同,整段缓存就失效。
70%已验证在大多数Claude模型上,Anthropic的缓存读取计费为基础输入价格的0.1倍,写入默认5分钟缓存费用为1.25倍,1小时缓存为2倍,5分钟缓存每次被使用时免费刷新
70%已验证缓存机制在技术上通常被称为 KV Cache 或 Prompt Caching
70%已验证长上下文会显著拉高首token时间,因为prefill计算量随输入长度增长,命中缓存可以跳过大部分prefill,直接改善首token延迟。
65%已验证Prompt Caching是主流LLM提供者(如Anthropic、OpenAI)推出的成本优化机制,当多次请求的前缀部分完全一致时,提供者缓存这部分计算结果,命中缓存的token按远低于正常输入的价格计费。
65%已验证Prompt缓存保存的是可复用前缀(提示词开头不变的Token)的KV状态,如果下一次请求以完全相同的前缀开头,服务商会复用已保存的计算结果,只处理新增部分
65%已验证Prompt缓存有效期通常只有几分钟到数小时,折扣幅度和缓存窗口可能随时调整
65%已验证Token 缓存(Prompt Caching)是大模型 API 中的成本优化机制,当同一段前缀在多次请求中重复出现时可缓存计算结果并收取更低费用
65%已验证Prompt Caching是指LLM服务商对请求中重复出现的前缀内容进行缓存,命中缓存则降低计算成本和延迟
65%已验证部分服务商引入缓存命中价,对重复出现的长系统提示命中缓存后按更低折扣收费
65%已验证在缓存命中场景下,命中的 token 通常按原价的 1/10 甚至更低收费
65%已验证Prompt Caching缓存命中读取仅需基础输入的0.1倍价格,首次写入成本是常规输入的2倍
65%