待验证50% 置信事实精确时间
Prompt Caching 的实现逻辑是：对输入提示词做哈希校验，和已缓存的 KV 前缀做匹配，命中则跳过该部分 Transformer 计算，只对后缀部分进行推理计算。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
已验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高73% 相似待验证处理输入可以借助 KV Cache 等机制摊薄计算成本，而生成每个输出 token 需要完整的前向推理72% 相似待验证双向注意力模型（如 BERT 编码器）的每个 token 表示受全文影响，前缀 KV 无法独立复用，因此 Prompt Caching 主要出现在生成式大模型而非编码模型上。71% 相似待验证Transformer架构采用自回归方式生成文本，每次输出一个Token并追加到输入序列后预测下一个Token，导致推理过程串行70% 相似已验证受限解码（Constrained Decoding）在自回归生成的每个Token步骤上，根据有限状态机或上下文无关文法计算合法Token集合并重新归一化概率，从数学上保证输出符合目标schema69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1010934API
curl https://kongchang.com/api/v1/knowledge/claims/1010934MCP
get_claim(id=1010934)