Loss Spike

大模型训练过程中损失值在短时间内急剧抬升的现象，通常意味着梯度爆炸、数值溢出、数据污染或参数更新出现严重异常，是训练健康状态的重要监测指标但存在滞后性