待验证50% 置信事实精确时间

KV cache 复用时，缓存的中间激活值在批大小或序列拼接方式改变时可能导致相同输入产生不同的 logit 输出

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

长程强化学习的隐性杀手：训练与评分引擎的数值漂移

涉及实体

KV cacheconcept

相关事实

待验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高77% 相似待验证提示词缓存技术将KV矩阵存储在高速内存中，当下一次请求包含相同前缀内容时直接读取缓存跳过重算68% 相似待验证Decode 阶段属于访存密集型操作，每生成一个新 token 需从显存读取全部历史 token 的 KV Cache66% 相似待验证输入Token可以在prefill阶段并行处理，而输出Token必须在decode阶段逐个串行生成65% 相似待验证Prompt Caching缓存的是输入而非输出，缓存LLM的输出几乎没有意义63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/916504

API

curl https://kongchang.com/api/v1/knowledge/claims/916504

MCP

get_claim(id=916504)