待验证50% 置信事实精确时间
在大语言模型推理中，Transformer 的自注意力机制需要为每个已处理的 token 保存 Key 和 Value 向量，这批存储即 KV Cache。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证Transformer 的因果注意力机制规定每个 token 的 KV 只和它前面的所有 token 相关，因此前缀完全相同的提示词生成的 KV 完全相同，可以直接复用。79% 相似待验证双向注意力模型（如 BERT 编码器）的每个 token 表示受全文影响，前缀 KV 无法独立复用，因此 Prompt Caching 主要出现在生成式大模型而非编码模型上。75% 相似已验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高75% 相似待验证处理输入可以借助 KV Cache 等机制摊薄计算成本，而生成每个输出 token 需要完整的前向推理74% 相似待验证KV Cache 是大语言模型推理阶段的一项核心优化技术，本质上是一种空间换时间的策略，通过缓存历史 token 的 Key、Value 向量避免重复计算74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1032219API
curl https://kongchang.com/api/v1/knowledge/claims/1032219MCP
get_claim(id=1032219)