概念good views / 好视角训练目标
好视角
一种文本模型训练目标,通过让文本编码器区分同一图像的不同描述(正样本对)来学习对齐图像空间,相比下一词预测更高效地实现跨模态对齐。
时间轴 (近 90 天)
11月2日
在相同学习速度下取 3 个随机种子的平均值,好视角(同一张照片的两条不同描述)达到 0.320,坏视角(单条描述、遮蔽部分词)为 0.192,下一词预测为 0.148。
待验证50%
11月2日
作者对每种方法做了小幅学习率搜索,取最佳速度、单种子运行,结果为 0.328 / 0.196 / 0.168,排序不变,说明领先并非学习率调参的偶然产物。
待验证50%
11月2日
检索指标 R@1(配合一个拟合旋转)显示差距收窄:好视角 0.084,坏视角 0.063,下一词预测 0.057。
待验证50%