缓存命中
API计费中的折扣机制,当请求的提示词前缀与近期请求高度重复时服务端直接复用已处理内容,从而降低计费成本
核心事实
时间轴 (近 90 天)
缓存命中(Cache Hit)指当请求的上下文前缀与之前请求完全相同时,服务端可直接复用已计算的KV缓存,无需重新推理,因此单价可低至两分钱
部分供应商对缓存命中的输入 token 给予折扣,但预热请求本身若未命中或探针过短,折扣不一定生效。
长系统提示还会挤占上下文窗口、降低缓存命中效率。
缓存命中判定基于前缀的逐token比对:从第一个token开始连续相同的部分才算命中,一旦出现差异,后续全部按未命中计算。
在 Agent 场景中,系统提示、工具定义和历史对话往往占据输入的绝大部分,缓存命中率直接决定实际账单;若每轮注入全新上下文,缓存收益会大幅缩水,两模型间的成本倍数也会变化
在工具描述中注明约束(如最大长度、缓存时效、禁止重复抓取)能显著减少 Agent 的重复抓取次数。
缓存命中计费机制下,命中缓存的部分按更低价格计费,Agent 场景缓存命中率往往高达 90% 以上,缓存价格对重度 Agent 用户实际成本影响远超标称输入单价
缓存命中指模型服务端识别当前请求前缀与历史请求高度重合,直接复用已计算的KV缓存而无需重新推理,从而降低实际计算量
缓存命中(cache hit)是大语言模型API中的一种计费优化机制,费率通常仅为普通输入Token的1/4甚至更低
缓存命中降低的是单次请求的费率,而非Token的绝对消耗量
还有 2 条时间轴事件
全部知识事实 (13)
提示词缓存(Prompt Caching)机制可复用相同前缀上下文的 KV Cache,通常可节省 50%~90% 的输入 token 成本
80%待验证缓存命中(Cache Hit)指当请求的上下文前缀与之前请求完全相同时,服务端可直接复用已计算的KV缓存,无需重新推理,因此单价可低至两分钱
50%待验证部分供应商对缓存命中的输入 token 给予折扣,但预热请求本身若未命中或探针过短,折扣不一定生效。
50%待验证长系统提示还会挤占上下文窗口、降低缓存命中效率。
50%待验证缓存命中判定基于前缀的逐token比对:从第一个token开始连续相同的部分才算命中,一旦出现差异,后续全部按未命中计算。
50%待验证在 Agent 场景中,系统提示、工具定义和历史对话往往占据输入的绝大部分,缓存命中率直接决定实际账单;若每轮注入全新上下文,缓存收益会大幅缩水,两模型间的成本倍数也会变化
50%待验证在工具描述中注明约束(如最大长度、缓存时效、禁止重复抓取)能显著减少 Agent 的重复抓取次数。
50%待验证缓存命中计费机制下,命中缓存的部分按更低价格计费,Agent 场景缓存命中率往往高达 90% 以上,缓存价格对重度 Agent 用户实际成本影响远超标称输入单价
50%待验证缓存命中指模型服务端识别当前请求前缀与历史请求高度重合,直接复用已计算的KV缓存而无需重新推理,从而降低实际计算量
50%待验证缓存命中(cache hit)是大语言模型API中的一种计费优化机制,费率通常仅为普通输入Token的1/4甚至更低
50%待验证缓存命中降低的是单次请求的费率,而非Token的绝对消耗量
50%待验证部分平台对缓存命中的输入Token折扣高达75%-90%
50%待验证部分平台缓存命中的Token仍计入套餐限额消耗,只是按折扣价折算而非真正免费
50%