概念缓存读取 / cache read
Cache Read
大模型API计费项之一,指请求命中服务端缓存时按优惠单价计费的部分,单价通常为普通输入价格的十分之一,是Agent场景的最大成本项。
时间轴 (近 90 天)
9月5日
自主运行的AI会反复引用同一个上下文基底,缓存命中率可达80%以上,这是代理化任务降本幅度更大的原因
待验证50%
9月4日
新定价下缓存读取价格暴跌75%,每百万 token 仅需 0.25 美元
已过期50%
9月4日
缓存读取(Cache Read)是指模型在多轮对话或重复调用中直接从缓存读取已解析上下文的中间计算结果,无需重新处理
待验证50%