Anthropic推出的定价优化机制,对请求中可复用的固定前缀部分(如System Prompt)对应的Token给予费用折扣,将KV Cache节省反映到计费中
Prompt Caching可将公共前缀的KV Cache持久化存储,成本可降至普通输入的10-20%
Codex在Agent多轮对话中会大量复用系统提示和代码上下文,缓存命中率远超普通聊天场景,是折算价格低廉的关键原因
Anthropic's Prompt Caching can reduce repeated input costs by 90%