待验证50% 置信事实精确时间
BERT通过掩码语言模型（MLM）任务同时利用上下文的左侧和右侧信息
1
来源数
50%
置信度
长期有效
时效性
2026/7/6
首次发现
来源
素材内容与主题不符，文章暂无法生成
bilibiliyasoven2026/7/3
相关事实
待验证BERT-base 拥有约 1.1 亿参数，采用掩码语言模型（MLM）和下一句预测（NSP）两种自监督预训练目标，MLM 随机遮蔽输入文本中 15% 的词元68% 相似待验证BERT采用双向编码器架构，通过掩码语言模型预训练，随机遮盖15%的token并预测它们67% 相似待验证BERT 使用 Masked Language Modeling 作为预训练任务，GPT 使用 Causal Language Modeling（预测下一个词）作为预训练任务66% 相似待验证BERT 及其后续模型产生上下文感知的动态向量，同一个词在不同句子中会得到不同的向量表示65% 相似已验证RAG通过强制模型从可信文档中提取答案，有效缓解大语言模型的知识截止与幻觉两大问题62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/115094API
curl https://kongchang.com/api/v1/knowledge/claims/115094MCP
get_claim(id=115094)