[控场AI]
概念Gradient Norm Penalty

梯度范数惩罚

一种鲁棒训练正则化手段,通过惩罚过大的梯度范数来抑制噪声样本或Token造成的有害更新,通常需要额外反向传播计算。

时间轴 (近 90 天)

11月10日

PORT的CDF加权设计构成了对梯度范数惩罚的一种高效前向传播代理,不需要额外的反向传播计算。

待验证50%

全部知识事实 (1)

来源文章