概念Gradient Distortion
梯度扭曲
对比学习中因对高相似度负例进行梯度加权而导致的下游泛化性能损害现象,模型被过度推离某些样本从而破坏嵌入空间整体结构。
时间轴 (近 90 天)
10月14日
对高相似度负例的梯度加权会持续损害下游泛化,即模型被过度推离某些样本会破坏嵌入空间整体结构,检索性能不升反降(称为‘梯度扭曲’)。
待验证50%
对比学习中因对高相似度负例进行梯度加权而导致的下游泛化性能损害现象,模型被过度推离某些样本从而破坏嵌入空间整体结构。
对高相似度负例的梯度加权会持续损害下游泛化,即模型被过度推离某些样本会破坏嵌入空间整体结构,检索性能不升反降(称为‘梯度扭曲’)。