Concept上下文缓存
Context Caching
上下文缓存（Context Caching）是一种将已处理的上下文信息存储于缓存层、供后续请求复用的技术机制。其核心目标是避免对相同上下文的重复计算，从而提升系统响应效率并降低资源消耗。该技术广泛应用于大语言模型推理、对话系统及分布式计算等场景，尤其适用于需要频繁引用大量共享上下文的工作负载，是优化计算性能与成本的重要手段。
Core Facts
Timeline (last 90 days)
Sep 1
Anthropic提供的上下文缓存（Context Caching）技术允许重复使用已处理的上下文前缀，可降低多轮对话中的重复计算成本
Unverified50%
Aug 28
硬盘缓存机制将已计算的KV Cache持久化到存储介质中，当后续请求前缀与缓存命中时可直接复用，跳过重复的前向传播
Unverified50%
Aug 28
上下文缓存机制对多轮对话、长文档处理和批量任务等场景尤为有利
Unverified50%
All Facts (7)
Verified
DeepSeek API对缓存命中的Token提供显著折扣
70%UnverifiedFirebase AI Logic的Context Caching功能通过缓存KV Cache（Transformer注意力机制中的中间计算结果）来复用频繁使用的上下文片段
92%UnverifiedContext Caching功能可以显著减少首Token生成时间（Time to First Token）
88%Unverified根据Google官方数据，Context Caching对于包含大量共享上下文的场景可以将输入Token成本降低最多75%
88%UnverifiedAnthropic提供的上下文缓存（Context Caching）技术允许重复使用已处理的上下文前缀，可降低多轮对话中的重复计算成本
50%Unverified硬盘缓存机制将已计算的KV Cache持久化到存储介质中，当后续请求前缀与缓存命中时可直接复用，跳过重复的前向传播
50%Unverified上下文缓存机制对多轮对话、长文档处理和批量任务等场景尤为有利
50%