[控场AI]
概念Gradient Distortion

梯度扭曲

对比学习中因对高相似度负例进行梯度加权而导致的下游泛化性能损害现象,模型被过度推离某些样本从而破坏嵌入空间整体结构。

时间轴 (近 90 天)

10月14日

对高相似度负例的梯度加权会持续损害下游泛化,即模型被过度推离某些样本会破坏嵌入空间整体结构,检索性能不升反降(称为‘梯度扭曲’)。

待验证50%

全部知识事实 (1)

来源文章