待验证50% 置信事实精确时间
BERT采用双向编码器架构，通过掩码语言模型预训练，随机遮盖15%的token并预测它们
1
来源数
50%
置信度
长期有效
时效性
2026/8/13
首次发现
来源
相关事实
待验证BERT-base 拥有约 1.1 亿参数，采用掩码语言模型（MLM）和下一句预测（NSP）两种自监督预训练目标，MLM 随机遮蔽输入文本中 15% 的词元75% 相似待验证BERT 使用 Masked Language Modeling 作为预训练任务，GPT 使用 Causal Language Modeling（预测下一个词）作为预训练任务72% 相似待验证大语言模型的训练目标是最大化下一个Token的预测概率而非最大化代码安全性，这两个目标在数学上不等价70% 相似待验证现代大语言模型基于Transformer架构，通过预测下一个token的概率分布来生成文本，训练目标是最小化交叉熵损失69% 相似已验证大语言模型在训练中不以传统方式存储原始文本，而是通过反向传播算法将统计规律编码进数十亿参数中68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/742211API
curl https://kongchang.com/api/v1/knowledge/claims/742211MCP
get_claim(id=742211)