待验证50% 置信事实精确时间
Decode阶段每次只产生一个token，形态类似GEMV，算术强度极低，属于memory-bound
1
来源数
50%
置信度
长期有效
时效性
2026/9/23
首次发现
来源
涉及实体
相关事实
待验证输出Token定价高于输入Token是因为Prefill阶段可并行矩阵运算而Decode阶段必须串行自回归解码，Decode阶段GPU吞吐量约为Prefill阶段的1/6到1/1068% 相似待验证大语言模型推理的解码阶段GPU利用率远低于预填充阶段的矩阵并行计算，因为解码是逐步自回归生成64% 相似待验证在硬件层面，Prefill（输入）阶段可以并行读取所有Token并同时计算自注意力矩阵，而Decode（输出）阶段因自回归机制需逐字串行推理，导致GPU利用率骤降64% 相似待验证自回归解码具有串行特性，每个Token的生成依赖前一个Token，难以并行64% 相似待验证生成式AI推理中的自回归解码本质上是内存带宽受限（Memory-Bound）的操作，每次生成Token需读取全部KV Cache64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/942615API
curl https://kongchang.com/api/v1/knowledge/claims/942615MCP
get_claim(id=942615)