待验证60% 置信事实精确时间
BERT于2018年由Google发布，采用双向预训练，通过掩码语言模型随机遮盖15%的词并要求还原
2
来源数
60%
置信度
长期有效
时效性
2026/7/23
首次发现
来源
相关事实
已验证BERT由Google于2018年推出，是预训练语言模型的开山之作，首次采用双向编码器架构，在11项NLP基准测试中刷新纪录85% 相似已验证BERT由Google于2018年提出，是基于Transformer架构的预训练语言模型76% 相似待验证谷歌于2018年推出BERT预训练语言模型，2022年推出拥有5400亿参数的PaLM模型75% 相似待验证SentencePiece由Google于2018年推出，支持无监督训练，无需预先进行空格分词，Google的T5、LLaMA等模型均采用其Unigram语言模型算法73% 相似待验证Google于2022年发布SayCan，让语言模型仅负责生成可行动作序列，具体执行交由预训练底层技能策略完成72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/600459API
curl https://kongchang.com/api/v1/knowledge/claims/600459MCP
get_claim(id=600459)