待验证50% 置信事实精确时间
大模型推理通常分为 prefill 阶段和 decode 阶段,KV 缓存保存了历史 token 的注意力键值对以避免重复计算。
1
来源数
50%
置信度
长期有效
时效性
2026/11/7
首次发现
来源
涉及实体
相关事实
待验证在大语言模型推理中,KV-Cache用于存储注意力机制中已计算的键值对,从而避免重复计算79% 相似待验证推理过程分为prefill阶段和decode阶段:prefill阶段处理整个prompt并保存完整KV Cache,decode阶段逐个生成后续token并复用缓存。78% 相似待验证推理过程中每个token需要维护KV缓存(Key-Value cache),其显存占用与序列长度和模型层数成正比76% 相似待验证KV Cache技术允许模型在自回归生成时复用历史token的注意力Key-Value矩阵计算结果,使长对话推理延迟从O(n²)降低至接近线性76% 相似待验证上下文缓存(KV Cache)是 Transformer 类模型推理时存储先前 token 的 Key 和 Value 向量的内存区域,其大小随上下文长度、批处理大小和模型层数线性增长。76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1145961API
curl https://kongchang.com/api/v1/knowledge/claims/1145961MCP
get_claim(id=1145961)