待验证50% 置信事实精确时间
跨请求复用相同上下文前缀的KV缓存可以削减prefill阶段的重复计算，从而降低首字延迟（TTFT）
1
来源数
50%
置信度
长期有效
时效性
2026/10/1
首次发现
来源
涉及实体
相关事实
待验证提示词缓存依赖Transformer的KV缓存机制，通过复用相同前缀已计算的KV向量跳过重复计算，节省GPU算力并降低首Token延迟73% 相似待验证持续上下文机制显式地维护一个可持续更新的状态缓存，与大语言模型的 KV Cache 机制有相似之处，都是以空间换时间69% 相似待验证零停机迁移的快速回滚要求在双写期间旧库始终保持完整、最新的数据副本,且切换路由的操作可以在秒级完成68% 相似待验证KV Cache复用针对Agent多轮对话中重复的前缀上下文，避免每次推理重新计算注意力，从而降低延迟66% 相似待验证并行工具调用（Parallel Tool Calling）可将单轮循环延迟从串行的数秒压缩至并行的毫秒级66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/966063API
curl https://kongchang.com/api/v1/knowledge/claims/966063MCP
get_claim(id=966063)