待验证50% 置信解决方案精确时间
在推送模式中，预填充实例在完成 KV 缓存生成后主动将缓存推送到解码实例，解码实例只需等待数据到达，传输协调不再阻塞解码实例的令牌生成循环。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至：2027/1/17
来源
涉及实体
相关事实
已验证KV Cache通过将已计算的键值对持久化存储，使相同Prompt前缀的后续请求可直接复用，跳过重复的矩阵运算76% 相似待验证KV缓存正在从推理过程中的临时状态变成可跨轮、可跨节点流转的一等资源，围绕KV缓存的复用、传输、淘汰策略将成为Agent推理基础设施的竞争焦点。74% 相似已验证缓存机制在技术上通常被称为 KV Cache 或 Prompt Caching73% 相似已验证常规 KV 缓存是单请求内的优化，同一轮对话里历史消息生成的 KV 不需要重复计算，只增量计算新输入的内容。73% 相似待验证prefill阶段负责处理输入prompt，一次性完成所有输入token的KV缓存计算；decode阶段逐个生成新token。72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1070050API
curl https://kongchang.com/api/v1/knowledge/claims/1070050MCP
get_claim(id=1070050)