Unverified50% confidenceFactExact time
BERT通过预训练学习通用的语言表示，GPT通过自回归预训练学习文本的生成式表示，CLIP学习了图文对齐的多模态表示
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
7/2/2026
First Seen
Valid until: 9/30/2026
Sources
手撕神经网络：从线性回归到梯度下降的底层原理详解
bilibiliAI课堂6/11/2026
Related Claims
Unverified自监督学习是GPT系列模型的训练基础，通过预测文本中被遮蔽的下一个词进行学习78% similarVerifiedGPT和BERT等大语言模型基于自监督学习范式77% similarVerifiedBERT的双向编码能力来源于其预训练阶段采用的掩码语言模型（MLM）目标，与GPT系列的单向自回归预训练形成对比76% similarUnverified谷歌DeepMind的研究发现GPT类模型在特定提示条件下可精确复现训练集中约1%的文本片段74% similarUnverifiedBERT、GPT系列模型从根本上改变了计算机理解语言的方式，从基于规则的符号匹配转向基于海量数据训练的概率语义推断72% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/49103API
curl https://kongchang.com/api/v1/knowledge/claims/49103MCP
get_claim(id=49103)