提示缓存

缓存命中率越高，实际计费越接近缓存价格而非完整输入价格，可降低一个数量级

提示缓存的核心原理是KV Cache的跨请求复用，当多个请求共享相同前缀时已计算的KV状态可被缓存复用

KV Cache机制避免了对历史Token的重复计算，但会随上下文长度线性增长占用显存

Prompt caching让多次请求共享的相同前缀只需首次请求完整计费和处理，后续请求命中缓存可降低输入token价格并减少延迟；但缓存不能缩短总上下文长度，长历史仍会占用上下文窗口并抬高延迟。

Prompt缓存有效期通常只有几分钟到数小时，折扣幅度和缓存窗口可能随时调整

Token 缓存（Prompt Caching）是大模型 API 中的成本优化机制，当同一段前缀在多次请求中重复出现时可缓存计算结果并收取更低费用

缓存机制在技术上通常被称为 KV Cache 或 Prompt Caching

实现缓存命中的通用原则是保持请求上下文的前缀尽可能稳定，将系统提示、工具定义等固定内容置于最前端，每轮变化的用户输入追加在末尾

提示词缓存通过在服务器端保存已计算的 KV 矩阵，将重复前缀的处理从 O(n²) 降低至 O(1) 的缓存读取，可实现高达90%的延迟和成本压缩

常见的上下文裁剪策略包括滑动窗口（保留最近N条消息）、摘要压缩（将旧消息总结为摘要）、重要性过滤（优先保留工具调用结果）

缓存条目的有效期约为5分钟（默认）至1小时（可延长），超时后视为未命中

提示缓存生效前提是缓存前缀严格匹配，因此上下文结构的设计直接决定了命中率。

成本降低源于对 Agent 上下文管理机制的重构，减少了每次会话所需的 token 数量，同时提升了提示缓存的复用率，而非调整计费费率。

提示缓存是主流大模型 API 提供商推出的一种推理优化机制：当请求的前缀部分与之前某次请求完全一致时，服务端可直接复用已计算好的 KV 缓存，无需重新进行前向计算。

提示缓存按模型而非按会话隔离；在真实编码会话中测量，会话中途切换模型时，82%的情况缓存读取量跌至此前值的10%以下，一个107000 token的温热前缀变成110000 token的未缓存输入，价格约为缓存价的十倍。

上下文检索使用提示缓存时，成本大约为每百万文档 token 1.02 美元，一次性。

提示缓存生效的硬性前提是前缀确定性：任何位于前缀中的动态内容（时间戳、用户ID、随机排序的工具列表）都会导致缓存键变化，使命中率归零。

OpenAI 的自动提示缓存对超过1024个token的匹配前缀打5折到2.5折，无需显式声明。

提示缓存的架构约束是：稳定内容（系统指令、上下文、示例等）放前面且每次字节级一致，可变内容放末尾。

多轮对话中，每新增一条消息，历史向后延长，缓存只能匹配到最后一个稳定断点；若实现将滚动摘要、当前轮次元数据或重新格式化的历史插到前面，会导致整个前缀位移，侵蚀命中率。