待验证50% 置信事实精确时间
显存容量决定了参数量加上KV Cache后能否装进设备；显存带宽决定了解码阶段每个token生成时权重读取的速度，因而直接决定推理延迟。
1
来源数
50%
置信度
长期有效
时效性
2026/10/22
首次发现
来源
涉及实体
相关事实
待验证生成吞吐（tok/s）反映解码阶段效率，受 KV Cache 大小和显存带宽影响，对输入长度的敏感程度远低于预填充75% 相似待验证大语言模型的自回归生成过程需要频繁读取KV Cache（键值缓存），对内存带宽和容量提出极高要求75% 相似待验证长上下文在首次推理时需完整计算KV Cache，消耗GPU计算资源并占用显存带宽，拉长首token延迟（TTFT）75% 相似已验证自回归解码阶段每生成一个新token都需读取完整KV Cache，使解码阶段几乎总是受限于内存带宽而非计算能力75% 相似待验证缓存命中率在大模型API调用场景中指KV Cache（键值缓存）的复用比例，模型可直接从缓存中读取已处理token的注意力键值对74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1086112API
curl https://kongchang.com/api/v1/knowledge/claims/1086112MCP
get_claim(id=1086112)