概念InfoNCE loss / InfoNCE对比损失
InfoNCE
一种常用于自监督对比学习的损失函数，通过最大化正样本对相似度、最小化负样本对相似度来学习高质量的表示，广泛应用于视觉、音频和推荐系统领域
时间轴 (近 90 天)
10月11日
多数Embedding模型使用对比损失（InfoNCE或其变体）训练，该损失只关心正样本相对排名而不关心分数绝对值
待验证50%
10月11日
给softmax中每个相似度加上同一常数不会改变损失，因此模型可任意选择无关文本的分数区间，训练过程对绝对分数毫不在意
待验证50%
10月7日
SimCLR、MoCo、CLIP等主流对比学习框架通常以余弦相似度作为度量，隐式地将表示空间固定为超球面上的均匀欧氏几何
待验证50%
10月6日
Sona分词器的训练采用InfoNCE对比损失，使用两类正样本配对信号：不同艺人同一推荐响应中共现的曲目，以及同一艺人在三个月窗口内高共同收听NPMI的曲目
待验证50%
9月7日
对比学习通常采用InfoNCE损失函数,该函数源于噪声对比估计(Noise Contrastive Estimation)理论
待验证50%
全部知识事实 (5)
待验证
多数Embedding模型使用对比损失（InfoNCE或其变体）训练，该损失只关心正样本相对排名而不关心分数绝对值
50%待验证给softmax中每个相似度加上同一常数不会改变损失，因此模型可任意选择无关文本的分数区间，训练过程对绝对分数毫不在意
50%待验证SimCLR、MoCo、CLIP等主流对比学习框架通常以余弦相似度作为度量，隐式地将表示空间固定为超球面上的均匀欧氏几何
50%待验证Sona分词器的训练采用InfoNCE对比损失，使用两类正样本配对信号：不同艺人同一推荐响应中共现的曲目，以及同一艺人在三个月窗口内高共同收听NPMI的曲目
50%待验证对比学习通常采用InfoNCE损失函数,该函数源于噪声对比估计(Noise Contrastive Estimation)理论
50%