缓存命中率
大模型推理时重复或相似前缀token从缓存直接读取的比率，影响长上下文和Agent场景的实际使用成本
时间轴 (近 90 天)
若缓存命中率持续低于30%，通常说明上下文频繁变化、缓存未生效或配置有误，此时单位对话成本会显著上升。
白鹿建议观察 Agent 使用成本时不必盯着消耗金额，而要看缓存命中率，如果低于30%才需要进一步排查。
探针测试中六个埋设缺陷全部被明确识别，另有一个键外有效发现：审稿人指出87%缓存命中率下将完整19ms源站获取计入每请求平均值的指标定义与命中率矛盾。
缓存命中率指在连续对话或重复请求中，模型服务商对相同前缀的上下文进行缓存复用、按折扣价计费的比例；编程 agent 工作流中缓存命中率越高，实际 token 计费越少且响应更快
缓存节省的实际幅度取决于命中率，若输入中80%命中缓存，实际输入成本约为0.8×缓存价+0.2×普通价。
重复性负载的目标是80%以上输入token走缓存；如果只有20%，说明前缀里还有动态内容在变化。
新模型上线、用户输入模式分散时，缓存命中率往往下降，进一步放大负载压力，这解释了为什么同样规模的集群会在新模型初期显得吃紧。
使用DeepSeek Harness时缓存命中率比其他Agent方案更高
OpenAI新模型的一个关键技术点是更高的缓存命中率，可在处理重复或相似内容时复用已有结果以减少Token消耗
缓存命中率（Cache Hit Rate）是指AI模型在处理请求时能够复用已缓存的上下文（Prompt前缀）的比例，命中率越高相同工作量下API花费越低
全部知识事实 (9)
若缓存命中率持续低于30%，通常说明上下文频繁变化、缓存未生效或配置有误，此时单位对话成本会显著上升。
50%待验证白鹿建议观察 Agent 使用成本时不必盯着消耗金额，而要看缓存命中率，如果低于30%才需要进一步排查。
50%待验证探针测试中六个埋设缺陷全部被明确识别，另有一个键外有效发现：审稿人指出87%缓存命中率下将完整19ms源站获取计入每请求平均值的指标定义与命中率矛盾。
50%待验证缓存命中率指在连续对话或重复请求中，模型服务商对相同前缀的上下文进行缓存复用、按折扣价计费的比例；编程 agent 工作流中缓存命中率越高，实际 token 计费越少且响应更快
50%待验证缓存节省的实际幅度取决于命中率，若输入中80%命中缓存，实际输入成本约为0.8×缓存价+0.2×普通价。
50%待验证重复性负载的目标是80%以上输入token走缓存；如果只有20%，说明前缀里还有动态内容在变化。
50%待验证新模型上线、用户输入模式分散时，缓存命中率往往下降，进一步放大负载压力，这解释了为什么同样规模的集群会在新模型初期显得吃紧。
50%待验证OpenAI新模型的一个关键技术点是更高的缓存命中率，可在处理重复或相似内容时复用已有结果以减少Token消耗
50%待验证缓存命中率（Cache Hit Rate）是指AI模型在处理请求时能够复用已缓存的上下文（Prompt前缀）的比例，命中率越高相同工作量下API花费越低
50%