自回归生成
大语言模型的核心生成机制，每个生成步骤基于前面所有已生成token预测下一个token，时间复杂度随序列长度呈O(n²)增长，是推理性能瓶颈的根源
核心事实
时间轴 (近 90 天)
NTP是训练目标，自回归生成是推理方式，都基于根据前文预测下一个token的同一机制。
自回归生成的输出受采样策略（temperature、top-p 等超参数）影响，难以保证完全一致的输出
典型的 LLM 采用自回归（autoregressive）生成方式，逐 token 预测且每步输出作为下一步输入形成循环
AI视频的转场难题源于模型自回归生成方式，每个视频片段独立采样生成缺乏跨片段时序一致性约束
对于自回归生成这种逐 token 输出的任务，内存带宽往往是决定推理速度的关键因素
Transformer 在语言建模中本质上是学习 token 序列的条件概率分布 P(xt|x1,...,xt-1)，自回归生成是从该概率分布中逐步采样
在自回归生成过程中，每个并行请求都需要自己独立的KV缓存空间，这些缓存无法共享
自回归生成中，生成包含500个token的回答需要执行500次前向传播，且无法并行化；而感知类任务如图像分类只需一次前向传播
LLM自回归生成的解码阶段算术强度极低：以7B参数FP16模型为例，一次前向传播需加载约14GB权重但仅执行约14 GFLOPs运算，算术强度约1 FLOP/Byte，属于带宽受限工作负载
传统自回归生成每次只能产生一个token，需要完整的前向传播，导致GPU利用率低下，计算单元实际闲置率可达80%以上
还有 10 条时间轴事件
全部知识事实 (20)
大语言模型的推理速度受制于自回归生成的本质，每次只能生成一个token且依赖前序所有token，无法真正并行化
75%已验证AI视频的转场难题源于模型自回归生成方式，每个视频片段独立采样生成缺乏跨片段时序一致性约束
65%已验证生成阶段本质上是串行过程，无法像输入编码那样充分并行化，导致GPU利用率相对较低，这是输出成本天然高于输入的技术原因
65%已验证GPT-4 and Claude are large language models that can understand context, generate structured outputs, and execute multi-step reasoning
65%已验证Output Tokens are typically 2-4x more expensive than input Tokens because generation requires autoregressive decoding Token by Token, with each generated Token requiring a complete forward pass computation
65%已验证自回归解码阶段GPU算力利用率往往不足10%，属于内存密集型操作
65%待验证在自回归生成中，随着文本长度增加，早期设定的约束条件在概率分布中的权重逐渐降低，导致生成内容偏离原始意图
85%待验证Transformer 在语言建模中本质上是学习 token 序列的条件概率分布 P(xt|x1,...,xt-1)，自回归生成是从该概率分布中逐步采样
60%待验证AI Agent的方向偏移（Goal Drift）源于大语言模型的自回归生成机制，早期微小偏差在长序列生成中会被逐步放大
60%待验证大语言模型在长文本生成中出现的话题漂移现象在学术上被称为语义漂移（Semantic Drift），根本原因在于自回归生成机制
60%待验证NTP是训练目标，自回归生成是推理方式，都基于根据前文预测下一个token的同一机制。
50%待验证自回归生成的输出受采样策略（temperature、top-p 等超参数）影响，难以保证完全一致的输出
50%待验证典型的 LLM 采用自回归（autoregressive）生成方式，逐 token 预测且每步输出作为下一步输入形成循环
50%待验证对于自回归生成这种逐 token 输出的任务，内存带宽往往是决定推理速度的关键因素
50%待验证在自回归生成过程中，每个并行请求都需要自己独立的KV缓存空间，这些缓存无法共享
50%待验证LLM自回归生成的解码阶段算术强度极低：以7B参数FP16模型为例，一次前向传播需加载约14GB权重但仅执行约14 GFLOPs运算，算术强度约1 FLOP/Byte，属于带宽受限工作负载
50%待验证自回归生成中，生成包含500个token的回答需要执行500次前向传播，且无法并行化；而感知类任务如图像分类只需一次前向传播
50%待验证传统自回归生成每次只能产生一个token，需要完整的前向传播，导致GPU利用率低下，计算单元实际闲置率可达80%以上
50%待验证LLM采用自回归方式生成文本，每次只生成一个token并追加到输入序列，生成100个token需要执行100次完整的模型前向传播
50%待验证自回归生成是当前几乎所有大语言模型的基础范式，逐个token生成文本序列，GPT系列、LLaMA、Claude都采用这一范式
50%