ConceptAuto-regressive生成 / 自回归推理
自回归生成
大语言模型的核心生成机制，每个生成步骤基于前面所有已生成token预测下一个token，时间复杂度随序列长度呈O(n²)增长，是推理性能瓶颈的根源
Core Facts
Timeline (last 90 days)
Aug 24
输入Token可以在prefill阶段并行处理，而输出Token必须在decode阶段逐个串行生成
Unverified50%
Aug 22
大模型推理的自回归生成需要逐Token串行输出，生成N个Token需要N次前向传播
Unverified50%
Jun 1
自回归解码阶段GPU算力利用率往往不足10%，属于内存密集型操作
Verified65%