待验证50% 置信事实精确时间
前缀缓存复用会让 KV 值在不同于全新 prefill 的批次中计算，缓存命中的 KV 值与全新 prefill 的 KV 值在浮点层面可能不同，差异会沿后续 token 传播。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
vLLM temperature=0 竟非确定：200条评测23条翻转
rss2026/10/18
涉及实体
相关事实
待验证KV Cache 是大模型自回归生成中的关键数据结构：生成每个新 token 时模型需要用到此前所有 token 的 Key 和 Value 向量，若每次都重新计算代价会随序列长度平方增长。76% 相似待验证Transformer 模型在生成每个 token 时，需要计算所有先前 token 的键（Key）和值（Value）向量，这些张量合称 KV 缓存。74% 相似部分验证KV 缓存是 Transformer 自回归推理中的核心数据结构，其大小约等于 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 精度字节数。73% 相似待验证KV Cache 管理、批处理调度、显存分配等运维层面的调优经验几乎与具体模型版本解耦72% 相似待验证如果两次请求共享相同的前缀内容，系统可复用上一次已计算好的 KV 向量，跳过重复的前向传播计算72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1060915API
curl https://kongchang.com/api/v1/knowledge/claims/1060915MCP
get_claim(id=1060915)