待验证60% 置信事实精确时间
预训练的目标函数通常是因果语言建模中的交叉熵损失，即给定前文所有token最大化正确预测下一个token的概率
2
来源数
60%
置信度
长期有效
时效性
2026/8/12
首次发现
来源
相关事实
已验证现代大语言模型基于Transformer架构，通过预测下一个token的概率分布来生成文本，训练目标是最小化交叉熵损失76% 相似已验证预训练的核心目标是让模型具备预测下一个词（Predict Next Token）的能力，基于Transformer架构中的因果注意力机制75% 相似待验证主流LLM的预训练采用下一个token预测作为目标，优化的是语言建模损失而非事实准确性74% 相似待验证当解码阶段概率分布出现波动（如温度参数偏高或上下文匹配某一语言训练分布），模型可能在下一个token预测时滑入另一种语言的语义空间73% 相似待验证Transformer 在预训练阶段通过 Next Token Prediction 任务学习概率分布，每次输出本质是在给定上文条件下预测下一个词最可能是什么72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/737790API
curl https://kongchang.com/api/v1/knowledge/claims/737790MCP
get_claim(id=737790)