Prompt Cache
大模型推理中对重复上下文（系统提示、代码库背景、对话历史）进行缓存复用的机制，是KV Cache的服务端延伸，可显著降低成本和首字延迟
核心事实
时间轴 (近 90 天)
该项目中上下文被重复读取（缓存读取）的次数约是首次写入（输入）的14倍
主流大模型API提供商通常以5分钟至1小时为单位维护提示缓存（Prompt Cache），超时即失效
大模型服务中的缓存通常分为语义缓存和提示词前缀缓存（KV Cache）两个层次
当多个请求共享相同前缀（如系统提示词）时，高效的KV Cache复用可以大幅降低计算开销
输入缓存（Prompt Cache）指服务商缓存已处理过的相同前缀Token，缓存命中的Token价格通常只有正常价的10%-50%
对于系统提示词较长或反复使用相同文档的Agent应用，将高频重复部分稳定出现在请求开头可提高缓存命中率、利用低价档位
Agent设计prompt时应按稳定性光谱排列，工具定义和系统规则放最前，知识库快照放中间，对话历史和用户问题放最后，以最大化缓存复用
Prompt Cache失效的五大原因包括共享前缀不够长、计算身份不一致、缓存已被驱逐、路由未命中、Decode占大头
缓存命中标准是完全相同的token前缀加上完全相同的计算身份，计算身份包括Tokenizer、Chat Template、模型和权重版本、原始多模态输入等
Prompt Cache操作的是Prefill阶段的计算，砍掉重复的前缀计算，但无法省略Decode的生成
还有 2 条时间轴事件
全部知识事实 (12)
提示词缓存（Prompt Caching）机制可复用相同前缀上下文的 KV Cache，通常可节省 50%～90% 的输入 token 成本
80%已验证大模型服务中的缓存通常分为语义缓存和提示词前缀缓存（KV Cache）两个层次
75%待验证该项目中上下文被重复读取（缓存读取）的次数约是首次写入（输入）的14倍
50%待验证主流大模型API提供商通常以5分钟至1小时为单位维护提示缓存（Prompt Cache），超时即失效
50%待验证当多个请求共享相同前缀（如系统提示词）时，高效的KV Cache复用可以大幅降低计算开销
50%待验证输入缓存（Prompt Cache）指服务商缓存已处理过的相同前缀Token，缓存命中的Token价格通常只有正常价的10%-50%
50%待验证对于系统提示词较长或反复使用相同文档的Agent应用，将高频重复部分稳定出现在请求开头可提高缓存命中率、利用低价档位
50%待验证缓存命中标准是完全相同的token前缀加上完全相同的计算身份，计算身份包括Tokenizer、Chat Template、模型和权重版本、原始多模态输入等
50%待验证Prompt Cache失效的五大原因包括共享前缀不够长、计算身份不一致、缓存已被驱逐、路由未命中、Decode占大头
50%待验证Agent设计prompt时应按稳定性光谱排列，工具定义和系统规则放最前，知识库快照放中间，对话历史和用户问题放最后，以最大化缓存复用
50%待验证Prompt Cache操作的是Prefill阶段的计算，砍掉重复的前缀计算，但无法省略Decode的生成
50%待验证Claude 的缓存读取定价约为标准输入价格的 2.5%
50%