待验证50% 置信事实精确时间
由于自回归特性，每个decode step都需要访问之前所有token的KV Cache
1
来源数
50%
置信度
长期有效
时效性
2026/9/10
首次发现
来源
涉及实体
相关事实
待验证Prompt Cache本质上是大模型推理架构中KV Cache机制的服务端延伸，缓存Transformer中每个token生成的Key和Value矩阵67% 相似待验证提示缓存的核心原理是KV Cache的跨请求复用，当多个请求共享相同前缀时已计算的KV状态可被缓存复用64% 相似待验证Anthropic的提示缓存（Prompt Caching）利用Transformer架构中的KV Cache机制，通过缓存共享提示前缀对应的键值状态来降低延迟和成本63% 相似待验证vLLM的前缀缓存（Prefix Caching）对KV Cache块计算哈希值，当新请求输入前缀与已缓存请求重叠时直接复用物理缓存块，跳过该部分prefill计算60% 相似已验证KV Cache通过将已计算的键值对持久化存储，使相同Prompt前缀的后续请求可直接复用，跳过重复的矩阵运算60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/887190API
curl https://kongchang.com/api/v1/knowledge/claims/887190MCP
get_claim(id=887190)