Unverified50% confidenceFactExact time
自监督学习通过从数据自身构造监督信号，已成为 BERT、GPT、MAE 等大规模预训练模型的核心训练策略
1
Sources
50%
Confidence
Long-term
Relevance
8/30/2026
First Seen
Sources
Related Entities
Related Claims
Unverified自监督学习是预训练阶段的核心范式，模型通过下一个词预测任务从数据本身构造训练信号78% similarVerified大模型训练经历三个核心阶段：预训练、有监督微调（SFT）和偏好对齐77% similarVerified从预训练检查点到可商用产品需经历监督式指令微调（SFT）和基于人类反馈的强化学习（RLHF）两个后训练阶段75% similarUnverifiedSWE-bench公开的训练方案覆盖了数据准备、模型选择、微调策略、推理框架等关键环节75% similarUnverified训练GPT-3等千亿参数模型需要配合学习率预热（Warmup）、余弦退火（Cosine Annealing）等调度策略，以及混合精度训练、梯度累积等工程技巧74% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/824019API
curl https://kongchang.com/api/v1/knowledge/claims/824019MCP
get_claim(id=824019)