待验证60% 置信事实精确时间
Transformer 在语言建模中本质上是学习 token 序列的条件概率分布 P(xt|x1,...,xt-1)，自回归生成是从该概率分布中逐步采样
2
来源数
60%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证Transformer 在预训练阶段通过 Next Token Prediction 任务学习概率分布，每次输出本质是在给定上文条件下预测下一个词最可能是什么79% 相似待验证大模型幻觉现象根植于Transformer的自回归生成机制，模型在预训练阶段通过Next Token Prediction任务学习概率分布75% 相似已验证当前主流大语言模型本质上是基于Transformer架构的概率预测系统，通过预测下一个最可能的Token来生成内容75% 相似已验证现代大语言模型基于Transformer架构，通过预测下一个token的概率分布来生成文本，训练目标是最小化交叉熵损失74% 相似待验证Decision Transformer 于 2021 年提出，将强化学习问题重新表述为序列建模问题，使用 Transformer 架构对（回报、状态、动作）序列进行自回归预测74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/897039API
curl https://kongchang.com/api/v1/knowledge/claims/897039MCP
get_claim(id=897039)