待验证50% 置信事实精确时间
LLM 推理是自回归逐 token 生成，瓶颈在于内存带宽与 KV Cache 管理，与扩散模型推理存在本质差异
1
来源数
50%
置信度
长期有效
时效性
2026/10/9
首次发现
来源
涉及实体
相关事实
待验证LLM 推理在 decode 阶段通常是内存带宽受限而非计算受限，因为逐 token 生成需加载整个模型权重但算术强度极低80% 相似已验证推理模型的自回归生成过程严格串行，KV Cache显存占用随思考Token序列线性增长，内存带宽成为性能瓶颈79% 相似待验证LLM自回归解码阶段受内存带宽瓶颈限制，每生成一个token需完整遍历被激活的模型权重79% 相似待验证LLM 在处理复杂任务时容易出现幻觉和逻辑漂移，这与其自回归逐 token 预测机制有关，早期错误会被后续内容放大76% 相似待验证LLM推理的prefill阶段并行处理输入所有token并生成初始KV Cache，是计算密集型操作，是TTFT的直接决定因素75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/992773API
curl https://kongchang.com/api/v1/knowledge/claims/992773MCP
get_claim(id=992773)