待验证50% 置信事实精确时间
分布式训练中的“hang”多由集合通信调用不匹配引起，例如各 rank 进入的 collective 顺序或数量不一致，或某个 rank 因 OOM、异常退出而未参与。
1
来源数
50%
置信度
长期有效
时效性
2026/10/28
首次发现
来源
涉及实体
相关事实
待验证在分布式训练中，少量节点内核参数与其他节点不一致会拖低整个训练作业的吞吐量，形成短板节点70% 相似已验证行为克隆存在分布偏移（Distribution Shift）问题：训练时策略只接触专家轨迹覆盖的状态分布，部署时微小偏差累积会使实际访问的状态分布逐渐偏离训练分布69% 相似待验证分布式训练时保存检查点还需保存数据加载器的状态和随机数种子，否则恢复后数据顺序和增广结果会不一致，导致训练不可复现。68% 相似待验证rank值过高、学习率设置不当或训练步数过多是LoRA训练过拟合的常见诱因66% 相似待验证无信息基线指模型中不接收任何规则信息时的性能水平，通常接近随机猜测或依赖训练集偏置。65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1108795API
curl https://kongchang.com/api/v1/knowledge/claims/1108795MCP
get_claim(id=1108795)