Unverified50% confidenceFactTime unknown
BERT 使用 Masked Language Modeling 作为预训练任务，GPT 使用 Causal Language Modeling（预测下一个词）作为预训练任务
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
7/2/2026
First Seen
Valid until: 9/30/2026
Sources
Hugging Face Transformers：16万Star开源AI框架深度解析
githubhuggingface
Related Claims
Unverified2018年BERT预训练模型问世，通过在海量文本上预训练，模型能够捕捉词语在不同语境下的细微含义差异73% similarVerified大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律72% similarUnverifiedBERT采用双向编码器架构，通过掩码语言模型预训练，随机遮盖15%的token并预测它们72% similarVerified现代大语言模型通常经历预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个训练阶段71% similarUnverified模型的工具调用能力来自专门的微调训练，而非通用语言模型的自然涌现69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/61141API
curl https://kongchang.com/api/v1/knowledge/claims/61141MCP
get_claim(id=61141)