Prompt Caching
Anthropic推出的定价优化机制,对请求中可复用的固定前缀部分(如System Prompt)对应的Token给予费用折扣,将KV Cache节省反映到计费中
核心事实
时间轴 (近 90 天)
要通过 prompt caching 获得高缓存命中率,需将稳定内容放在 prompt 前部、易变内容放在末尾,并保持请求前缀逐字节一致。
固定上下文的成本可近似为:固定前缀 token 数 × 调用次数 × 缓存读取单价。
Prompt Caching 是 Anthropic API 等大模型服务商提供的机制:当请求前缀与之前请求完全一致时,服务端复用已计算的 KV Cache,命中缓存部分按输入价的 0.1 倍计费,首次写入缓存按 1.25 倍计价。
成本优化三步路径:先识别可共享前缀评估缓存命中潜力,再将非实时任务迁移至批量通道,最后确认目标平台的折扣叠加规则
提示缓存首次请求仍需全额付费,缓存写入有时单独计价
在四个模型上缓存共享提示词带来了78-80%的成本节省
核心决策规则:任何每条消息变化的内容都必须放在最后一个缓存断点之后,且唯一可靠的检查是对比两个真实请求而非单个请求。
生产级Agent通常组合使用五种策略:Prompt Caching、Compaction、Tool-result Clearing、Retrieval和Subagents。
Anthropic的Prompt Caching通过cache_control字段标记缓存断点,可在系统提示、工具定义或消息块上设置{"type": "ephemeral"}。
Anthropic的缓存前缀必须完全一致,任何细微改动(如时间戳、随机ID)都会导致缓存失效。
还有 40 条时间轴事件
全部知识事实 (20)
Claude API 支持提示缓存(Prompt Caching)机制,内容首次请求计费全价,后续命中缓存的 token 费用约为原价的 10%
80%已验证提示词缓存(Prompt Caching)机制可复用相同前缀上下文的 KV Cache,通常可节省 50%~90% 的输入 token 成本
80%已验证缓存并非永久有效,供应商通常有几分钟到一小时的 TTL,命中率会随用户行为波动。
75%已验证提示缓存的核心原理是KV Cache的跨请求复用,当多个请求共享相同前缀时已计算的KV状态可被缓存复用
75%已验证提示词缓存能否命中取决于请求前缀的逐字节一致性,只要开头有一个字符不同,整段缓存就失效。
70%已验证在大多数Claude模型上,Anthropic的缓存读取计费为基础输入价格的0.1倍,写入默认5分钟缓存费用为1.25倍,1小时缓存为2倍,5分钟缓存每次被使用时免费刷新
70%已验证Prompt Caching是主流LLM提供者(如Anthropic、OpenAI)推出的成本优化机制,当多次请求的前缀部分完全一致时,提供者缓存这部分计算结果,命中缓存的token按远低于正常输入的价格计费。
65%已验证Prompt缓存保存的是可复用前缀(提示词开头不变的Token)的KV状态,如果下一次请求以完全相同的前缀开头,服务商会复用已保存的计算结果,只处理新增部分
65%已验证Prompt缓存有效期通常只有几分钟到数小时,折扣幅度和缓存窗口可能随时调整
65%已验证Token 缓存(Prompt Caching)是大模型 API 中的成本优化机制,当同一段前缀在多次请求中重复出现时可缓存计算结果并收取更低费用
65%已验证Prompt Caching是指LLM服务商对请求中重复出现的前缀内容进行缓存,命中缓存则降低计算成本和延迟
65%已验证部分服务商引入缓存命中价,对重复出现的长系统提示命中缓存后按更低折扣收费
65%已验证缓存机制在技术上通常被称为 KV Cache 或 Prompt Caching
65%已验证在缓存命中场景下,命中的 token 通常按原价的 1/10 甚至更低收费
65%已验证硬盘缓存机制将已计算的KV Cache持久化到存储介质中,当后续请求前缀与缓存命中时可直接复用,跳过重复的前向传播
65%已验证实现缓存命中的通用原则是保持请求上下文的前缀尽可能稳定,将系统提示、工具定义等固定内容置于最前端,每轮变化的用户输入追加在末尾
65%已验证Prompt Caching通过复用相同前缀的KV Cache跳过重复计算,降低延迟和Token费用
65%待验证Anthropic's Prompt Caching can reduce repeated input costs by 90%
80%待验证提示词缓存技术将KV矩阵存储在高速内存中,当下一次请求包含相同前缀内容时直接读取缓存跳过重算
70%待验证前缀匹配要求只有从第一个token开始完全一致的连续序列才能命中缓存
70%