待验证50% 置信事实精确时间

BERT等预训练语言模型通过掩码语言建模任务学会捕捉词语在上下文中的细粒度含义

1

来源数

50%

置信度

长期有效

时效性

2026/9/28

首次发现

来源

假评论检测综述：从预训练模型到大语言模型的攻防演进

涉及实体

BERTmodel 掩码语言建模concept

相关事实

待验证BERT 的掩码语言模型随机遮蔽输入文本中 15% 的词元并要求模型预测原词76% 相似待验证BERT 在英文维基百科和 BookCorpus（共约 33 亿词）上进行了掩码语言模型（MLM）预训练75% 相似已验证现代多语言大模型在预训练阶段建立语言无关语义表示，通过海量多语言语料联合训练在高维向量空间中构建跨语言语义对齐75% 相似已验证LLM通过在海量文本语料上进行无监督预训练（预测下一个词）来习得语言能力74% 相似待验证大型语言模型在海量语料上训练，其中可能已经包含大量数学文献、解题过程甚至类似问题的答案73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/955636

API

curl https://kongchang.com/api/v1/knowledge/claims/955636

MCP

get_claim(id=955636)