待验证50% 置信事实精确时间

写入KV缓存的浮点误差具有持久性，即使引入误差的批次已结束、请求已完成，污染仍通过缓存状态延续影响后续token生成

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

连续批处理为何拖慢了LLM推理引擎？一次Metal内核排查实录

涉及实体

KV缓存concept

相关事实

待验证缓存命中的前提是提示词内容保持稳定，若系统提示词中包含动态插入的时间戳、会话ID或随机内容则会造成缓存失效77% 相似待验证被缓存的数据如果会发生变化（如进程退出、连接关闭），必须有相应的失效机制，否则会返回过期结果73% 相似待验证无法稳定复现（同样代码和输入有时对有时错）强烈指向外部状态如缓存、数据库或并发在作祟71% 相似待验证异步复制模式在主节点突然宕机时可能造成少量数据丢失71% 相似已验证KV Cache机制中，复用已缓存的KV值为命中，上下文变化导致缓存失效需重新计算为未命中70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1000274

API

curl https://kongchang.com/api/v1/knowledge/claims/1000274

MCP

get_claim(id=1000274)