待验证50% 置信事实精确时间
LLM的预训练本质是在海量文本上进行下一词预测（Next Token Prediction），通过Transformer架构的注意力机制建立词语间语义关联
1
来源数
50%
置信度
长期有效
时效性
2026/7/17
首次发现
来源
相关事实
待验证预训练的核心目标是让模型具备预测下一个词（Predict Next Token）的能力，基于Transformer架构中的因果注意力机制82% 相似待验证主流LLM基于Transformer架构，通过在海量文本数据上进行下一个词预测的自监督学习获得能力81% 相似待验证现代 LLM 的核心能力在于「下一个 Token 预测」，通过统计语言模式生成连贯文本，而非真正理解语义80% 相似待验证Transformer 在预训练阶段通过 Next Token Prediction 任务学习概率分布，每次输出本质是在给定上文条件下预测下一个词最可能是什么80% 相似已验证The training objective of a Base LLM is to predict the next word, using a paradigm called Autoregressive Language Modeling78% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/538975API
curl https://kongchang.com/api/v1/knowledge/claims/538975MCP
get_claim(id=538975)