概念cached input / prompt caching
缓存输入
模型供应商将多次重复出现的长文本中间状态缓存下来,后续调用仅按缓存命中价格计费,通常享有大幅折扣,对多智能体和 RAG 场景意义重大
时间轴 (近 90 天)
10月15日
缓存输入机制中,如果团队能设计出稳定复用的上下文前缀,实际输入成本可降至原来的二十分之一。
待验证50%
10月11日
对于每轮重发长系统提示词和历史记录的agent或聊天产品,缓存价对账单的影响可能比输入价更大
待验证50%
9月30日
在Agent工作流中,重复上下文占总输入的比例极高,因此缓存成本下降对Agent开发者的意义远大于对普通用户
待验证50%
9月30日
缓存输入是指将相同上下文预存在服务端,后续请求复用缓存无需重复计算,按更低价格收费
待验证50%