Unverified50% confidenceFactExact time
BERT 在英文维基百科和 BookCorpus（共约 33 亿词）上进行了掩码语言模型（MLM）预训练
1
Sources
50%
Confidence
Long-term
Relevance
8/24/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedLLMs acquire language capabilities by performing unsupervised pre-training on massive text corpora (predicting the next token).75% similarUnverified2006年Google翻译初始系统使用了一个在数万亿词文本上训练的5-gram语言模型，这很可能是世界上第一次万亿token规模的语言模型训练75% similarUnverifiedBERT（2018年，Google）采用掩码语言模型（MLM）实现双向上下文理解，但无法生成连贯文本75% similarVerified大语言模型通过在数千亿乃至数万亿个词元（Token）的文本数据上进行自监督预训练72% similarUnverifiedBERT 的掩码语言模型随机遮蔽输入文本中 15% 的词元并要求模型预测原词67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/796495API
curl https://kongchang.com/api/v1/knowledge/claims/796495MCP
get_claim(id=796495)