待验证50% 置信事实精确时间
Warmup策略在训练初期使用极小学习率，待参数进入合理范围后再提升，被大型语言模型训练广泛采用
1
来源数
50%
置信度
长期有效
时效性
2026/7/19
首次发现
来源
相关事实
待验证余弦退火在训练初期保持较高学习率快速探索、后期降低精细收敛，热身策略在最初几个epoch使用极小学习率避免参数剧烈震荡80% 相似待验证迁移学习中通常有两种策略：冻结预训练模型大部分层只训练分类头（Feature Extraction），或用预训练权重初始化后以较小学习率微调所有层（Fine-Tuning）78% 相似待验证行为克隆预训练解决了强化学习的冷启动问题：纯强化学习在稀疏奖励环境中往往需要数亿次交互才能学到基本可用策略76% 相似待验证单纯堆砌参数而训练数据不足会导致模型大而不强，参数跃升需配合同步扩大的训练语料与算力才能兑现能力增益76% 相似待验证传统大模型训练高度依赖人工标注数据和外部语料收集，这些步骤通常是制约迭代速度的瓶颈74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/558140API
curl https://kongchang.com/api/v1/knowledge/claims/558140MCP
get_claim(id=558140)