[控场AI]
概念cached input / prompt caching

缓存输入

模型供应商将多次重复出现的长文本中间状态缓存下来,后续调用仅按缓存命中价格计费,通常享有大幅折扣,对多智能体和 RAG 场景意义重大

时间轴 (近 90 天)

10月15日

缓存输入机制中,如果团队能设计出稳定复用的上下文前缀,实际输入成本可降至原来的二十分之一。

待验证50%
10月11日

对于每轮重发长系统提示词和历史记录的agent或聊天产品,缓存价对账单的影响可能比输入价更大

待验证50%
9月30日

在Agent工作流中,重复上下文占总输入的比例极高,因此缓存成本下降对Agent开发者的意义远大于对普通用户

待验证50%
9月30日

缓存输入是指将相同上下文预存在服务端,后续请求复用缓存无需重复计算,按更低价格收费

待验证50%

全部知识事实 (4)

来源文章