自回归生成

自注意力机制允许模型在处理每个词元时同时参考序列中所有其他词元的上下文信息，而非像RNN那样顺序处理

大语言模型的推理速度受制于自回归生成的本质，每次只能生成一个token且依赖前序所有token，无法真正并行化

模型在整合多段检索结果时仍可能发生拼接式幻觉，因此RAG不是消除幻觉的终极方案

AI视频的转场难题源于模型自回归生成方式，每个视频片段独立采样生成缺乏跨片段时序一致性约束

自回归生成是指模型每次根据前面已有的所有token来预测下一个token，逐步展开直到生成完整代码块

生成阶段本质上是串行过程，无法像输入编码那样充分并行化，导致GPU利用率相对较低，这是输出成本天然高于输入的技术原因

GPT-4 and Claude are large language models that can understand context, generate structured outputs, and execute multi-step reasoning

Output Tokens are typically 2-4x more expensive than input Tokens because generation requires autoregressive decoding Token by Token, with each generated Token requiring a complete forward pass computation

自回归解码阶段GPU算力利用率往往不足10%，属于内存密集型操作

在自回归生成中，随着文本长度增加，早期设定的约束条件在概率分布中的权重逐渐降低，导致生成内容偏离原始意图

Transformer 在语言建模中本质上是学习 token 序列的条件概率分布 P(xt|x1,...,xt-1)，自回归生成是从该概率分布中逐步采样

输出token通常比输入token更贵，因为输出需要自回归逐token生成，计算密度更高且GPU利用率更低

AI Agent的方向偏移（Goal Drift）源于大语言模型的自回归生成机制，早期微小偏差在长序列生成中会被逐步放大

大语言模型在长文本生成中出现的话题漂移现象在学术上被称为语义漂移（Semantic Drift），根本原因在于自回归生成机制

自回归生成中，每个 token 需要一次完整的前向计算，推理延迟与生成长度成正比，是吞吐量的主要瓶颈。

自回归生成阶段是内存带宽敏感型负载，每生成一个 token 需要将模型权重完整读一遍（或至少读取激活路径涉及的权重），因此实际速度近似等于显存带宽除以每 token 需读取的权重量。

语言模型的自回归生成机制本质上是基于局部上下文预测下一个 token，缺乏一个持续有效、跨越多轮交互的显式目标表示。

自回归生成是串行的，生成长文本时延迟会线性增长。

NTP是训练目标，自回归生成是推理方式，都基于根据前文预测下一个token的同一机制。

自回归生成的输出受采样策略（temperature、top-p 等超参数）影响，难以保证完全一致的输出