Unverified50% confidenceFactExact time
Warmup策略在训练初期使用极小学习率，待参数进入合理范围后再提升，被大型语言模型训练广泛采用
1
Sources
50%
Confidence
Long-term
Relevance
7/19/2026
First Seen
Sources
Related Claims
Unverified余弦退火在训练初期保持较高学习率快速探索、后期降低精细收敛，热身策略在最初几个epoch使用极小学习率避免参数剧烈震荡80% similarUnverified迁移学习中通常有两种策略：冻结预训练模型大部分层只训练分类头（Feature Extraction），或用预训练权重初始化后以较小学习率微调所有层（Fine-Tuning）78% similarUnverified行为克隆预训练解决了强化学习的冷启动问题：纯强化学习在稀疏奖励环境中往往需要数亿次交互才能学到基本可用策略76% similarUnverified单纯堆砌参数而训练数据不足会导致模型大而不强，参数跃升需配合同步扩大的训练语料与算力才能兑现能力增益76% similarUnverified传统大模型训练高度依赖人工标注数据和外部语料收集，这些步骤通常是制约迭代速度的瓶颈74% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/558140API
curl https://kongchang.com/api/v1/knowledge/claims/558140MCP
get_claim(id=558140)