待验证50% 置信事实精确时间

BERT 在英文维基百科和 BookCorpus（共约 33 亿词）上进行了掩码语言模型（MLM）预训练

1

来源数

50%

置信度

长期有效

时效性

2026/8/24

首次发现

来源

KerasFormers：纯Keras 3跨框架预训练Transformer模型库详解

涉及实体

相关事实

待验证LLM通过在海量文本语料上进行无监督预训练（预测下一个词）来习得语言能力75% 相似待验证2006年Google翻译初始系统使用了一个在数万亿词文本上训练的5-gram语言模型，这很可能是世界上第一次万亿token规模的语言模型训练75% 相似待验证BERT（2018年，Google）采用掩码语言模型（MLM）实现双向上下文理解，但无法生成连贯文本75% 相似已验证大语言模型通过在数千亿乃至数万亿个词元（Token）的文本数据上进行自监督预训练72% 相似待验证BERT 的掩码语言模型随机遮蔽输入文本中 15% 的词元并要求模型预测原词67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/796495

API

curl https://kongchang.com/api/v1/knowledge/claims/796495

MCP

get_claim(id=796495)