自回归解码
核心事实
时间轴 (近 90 天)
大模型自回归解码阶段的算术强度很低，是典型的内存带宽敏感型负载。
在生成式大模型里，一次前向传播通常只产出一个 token，要得到完整输出必须把结果回填到输入中反复调用，即自回归解码。
前沿API提供商对输出token的定价是输入token的4到5倍，原因是自回归解码受限于GPU高带宽内存的带宽。
自回归解码中每个 token 的概率都以前面所有 token 为条件，数学形式为 P(x_t | x_1, ..., x_{t-1})。
内存带宽决定生成速度，因为自回归解码是逐 token 搬运全部权重，带宽越高每秒生成的 token 越多。
矩阵乘法在批量大的推理场景下通常是算力受限，而批量为1的自回归解码时几乎必然是带宽受限
自回归解码的缺点是推理速度受序列长度线性制约
传统自回归解码的瓶颈在内存带宽而非计算能力，GPU算力利用率较低
将自回归文本生成与基于扩散的迭代去噪拼接在一起，会引入计算范式上的根本性不对称
全部知识事实 (12)
传统自回归解码的瓶颈在内存带宽而非计算能力，GPU算力利用率较低
75%已验证自回归大模型推理瓶颈并非计算量而是内存带宽，推测解码通过拒绝采样保证输出分布与原始大模型完全一致
65%已验证自回归文本生成属于内存带宽受限任务，内存带宽而非算力峰值是真正的性能瓶颈
65%待验证大模型自回归解码阶段的算术强度很低，是典型的内存带宽敏感型负载。
50%待验证在生成式大模型里，一次前向传播通常只产出一个 token，要得到完整输出必须把结果回填到输入中反复调用，即自回归解码。
50%待验证前沿API提供商对输出token的定价是输入token的4到5倍，原因是自回归解码受限于GPU高带宽内存的带宽。
50%待验证自回归解码中每个 token 的概率都以前面所有 token 为条件，数学形式为 P(x_t | x_1, ..., x_{t-1})。
50%待验证内存带宽决定生成速度，因为自回归解码是逐 token 搬运全部权重，带宽越高每秒生成的 token 越多。
50%待验证矩阵乘法在批量大的推理场景下通常是算力受限，而批量为1的自回归解码时几乎必然是带宽受限
50%待验证自回归解码的缺点是推理速度受序列长度线性制约
50%待验证将自回归文本生成与基于扩散的迭代去噪拼接在一起，会引入计算范式上的根本性不对称
50%待验证自回归解码具有串行特性，每个Token的生成依赖前一个Token，难以并行
50%