已过期60% 置信事实时间未知
BERT 使用 Masked Language Modeling 作为预训练任务，GPT 使用 Causal Language Modeling（预测下一个词）作为预训练任务
2
来源数
60%
置信度
中期 (~90 天)
时效性
2026/7/2
首次发现
有效期至：2026/9/30(已过期)
来源
Hugging Face Transformers：16万Star开源AI框架深度解析
githubhuggingface
相关事实
待验证ChatGPT训练中预训练阶段使用非监督学习做下一个词预测，指令微调阶段引入监督学习，最后通过RLHF对齐模型输出75% 相似待验证2018年BERT预训练模型问世，通过在海量文本上预训练，模型能够捕捉词语在不同语境下的细微含义差异73% 相似已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律72% 相似待验证BERT采用双向编码器架构，通过掩码语言模型预训练，随机遮盖15%的token并预测它们72% 相似待验证ChatGPT、Claude等大语言模型的核心工作原理是基于海量训练数据的下一个token预测71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/61141API
curl https://kongchang.com/api/v1/knowledge/claims/61141MCP
get_claim(id=61141)