待验证50% 置信事实精确时间
自回归生成阶段是内存带宽敏感型负载，每生成一个 token 需要将模型权重完整读一遍（或至少读取激活路径涉及的权重），因此实际速度近似等于显存带宽除以每 token 需读取的权重量。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
涉及实体
相关事实
待验证缓存命中率在大模型API调用场景中指KV Cache（键值缓存）的复用比例，模型可直接从缓存中读取已处理token的注意力键值对76% 相似待验证内存带宽决定生成速度，因为自回归解码是逐 token 搬运全部权重，带宽越高每秒生成的 token 越多。76% 相似待验证内存带宽而非算力（FLOPS）是决定本地 LLM 推理速度的核心瓶颈，因为生成每个 token 需将几乎全部模型权重从内存读入计算单元75% 相似待验证模型每生成一个token都要把整个模型从内存完整读取一遍，由此得出速度上限 = 内存带宽 ÷ 模型体积74% 相似待验证自回归生成中每生成一个token需读取全部权重一次，内存带宽而非算力峰值才是真正的性能瓶颈73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1051448API
curl https://kongchang.com/api/v1/knowledge/claims/1051448MCP
get_claim(id=1051448)