待验证50% 置信事实精确时间
预训练显著减少了超越固定配置所需的更新次数（约减半）。
1
来源数
50%
置信度
长期有效
时效性
2026/10/27
首次发现
来源
涉及实体
相关事实
待验证JOLT报告的6.5倍缩减是token口径；如果它需要额外的教师训练阶段、更多训练步数，或每步要跑多次前向（教师评价+学生生成），总FLOPs的节省可能明显小于6.5倍，甚至在模型较小时出现倒挂。71% 相似待验证仅调整 num_workers、pin_memory、prefetch_factor 三个 DataLoader 参数，相同 2000 步训练耗时从 633 秒降至 358 秒，运行时间缩短 43%69% 相似待验证一次前沿预训练运行往往持续数周甚至数月，期间任何硬件故障或软件异常都可能导致训练中断，造成巨大的算力浪费。69% 相似待验证SFT阶段的学习率通常比预训练低1-2个数量级，以避免破坏预训练阶段学到的通用知识69% 相似待验证在千卡规模下，一次AllReduce的延迟可能占到单步训练时间的30%以上69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1102013API
curl https://kongchang.com/api/v1/knowledge/claims/1102013MCP
get_claim(id=1102013)