自回归模型
自回归模型是一类基于序列概率分解的生成式模型,通过依次预测序列中的每个元素(如文本中的token),将联合概率建模为条件概率的连乘积。其核心特征是利用已生成的历史信息预测下一个输出,具有因果性和顺序依赖性。自回归模型被广泛应用于自然语言处理、语音合成和图像生成等领域,是大型语言模型的主流架构之一。
核心事实
时间轴 (近 90 天)
在自回归模型中,不同响应位置的梯度更新共享底层表示与参数,因此对某个深层 token 的监督可以迁移到其他位置,这一现象称为跨位置监督迁移。
自回归模型需要与生成长度相等的解码步数,而扩散模型理论上可以用更少的步数并行生成多个token。
血糖预测不能只靠历史血糖值做自回归,饮食成分、进餐时间、运动强度、睡眠时长等外生变量是关键协变量。
自回归模型逐 token 生成,每一步都以前面已生成的内容为条件。
在新闻摘要任务上,NCM质量得分优于扩散模型;在结构化推理任务上NCM大幅胜出;而在德英翻译任务上逐词自回归模型质量更优。
在德英翻译任务中,一个逐词生成的自回归模型作为对照,其质量分比NCM高2.6分,NCM通过最小贝叶斯风险解码追平但消耗约一倍算力。
主流大语言模型(如 GPT、Llama 系列)采用自回归方式逐个 token 预测下一个词,生成过程是串行的。
扩散模型(如Diffusion Gemma)一次并行处理256个token的块,而自回归模型逐个预测token。
穿模的根源在于扩散或自回归生成模型优化像素/帧级别似然,而非显式刚体约束,长时间滚动后误差会累积放大。
自回归模型生成每个token都需要加载整个模型权重,导致显存带宽成为瓶颈,而非计算能力。
还有 40 条时间轴事件
全部知识事实 (20)
KV Cache占用的显存随序列长度线性增长
90%已验证大模型幻觉的技术根源在于自回归生成机制,模型仅依据上文预测统计上最可能的下一个词,研究者将幻觉分为内在幻觉和外在幻觉
80%已验证音频是时序信号,音乐生成模型需要保持长时间跨度上的连贯性,将其集成进以图像/视频为主的工作流引擎需要在采样调度、内存管理和输出格式上做专门适配
80%已验证vLLM 此前主要服务于自回归类的大语言模型
75%已验证扩散模型的去噪过程通常需要执行数十到数百次迭代(称为采样步数),每次迭代都需要完整运行一次神经网络的前向传播
75%已验证一致性模型和流匹配等加速方案正在缩短扩散模型多步推理的计算开销差距
75%待验证离散扩散模型通过多步迭代、并行解析多个token来构建完整序列,与自回归模型的从左到右逐词生成不同
70%待验证将自回归文本生成与基于扩散的迭代去噪拼接在一起,会引入计算范式上的根本性不对称
70%待验证血糖预测不能只靠历史血糖值做自回归,饮食成分、进餐时间、运动强度、睡眠时长等外生变量是关键协变量。
60%待验证分类模型的推理时间几乎与类别数量无关,而自回归生成式模型的延迟与输出长度成正比
60%待验证在自回归模型中,不同响应位置的梯度更新共享底层表示与参数,因此对某个深层 token 的监督可以迁移到其他位置,这一现象称为跨位置监督迁移。
50%待验证自回归模型需要与生成长度相等的解码步数,而扩散模型理论上可以用更少的步数并行生成多个token。
50%待验证自回归模型逐 token 生成,每一步都以前面已生成的内容为条件。
50%待验证在德英翻译任务中,一个逐词生成的自回归模型作为对照,其质量分比NCM高2.6分,NCM通过最小贝叶斯风险解码追平但消耗约一倍算力。
50%待验证在新闻摘要任务上,NCM质量得分优于扩散模型;在结构化推理任务上NCM大幅胜出;而在德英翻译任务上逐词自回归模型质量更优。
50%待验证主流大语言模型(如 GPT、Llama 系列)采用自回归方式逐个 token 预测下一个词,生成过程是串行的。
50%待验证扩散模型(如Diffusion Gemma)一次并行处理256个token的块,而自回归模型逐个预测token。
50%待验证穿模的根源在于扩散或自回归生成模型优化像素/帧级别似然,而非显式刚体约束,长时间滚动后误差会累积放大。
50%待验证自回归模型生成每个token都需要加载整个模型权重,导致显存带宽成为瓶颈,而非计算能力。
50%待验证在高并发(64个请求)场景下,同尺寸自回归模型的速度反超NCM。
50%