概念Gradient Norm Penalty
梯度范数惩罚
一种鲁棒训练正则化手段,通过惩罚过大的梯度范数来抑制噪声样本或Token造成的有害更新,通常需要额外反向传播计算。
时间轴 (近 90 天)
11月10日
PORT的CDF加权设计构成了对梯度范数惩罚的一种高效前向传播代理,不需要额外的反向传播计算。
待验证50%
一种鲁棒训练正则化手段,通过惩罚过大的梯度范数来抑制噪声样本或Token造成的有害更新,通常需要额外反向传播计算。
PORT的CDF加权设计构成了对梯度范数惩罚的一种高效前向传播代理,不需要额外的反向传播计算。