[控场AI]
概念good views / 好视角训练目标

好视角

一种文本模型训练目标,通过让文本编码器区分同一图像的不同描述(正样本对)来学习对齐图像空间,相比下一词预测更高效地实现跨模态对齐。

时间轴 (近 90 天)

11月2日

在相同学习速度下取 3 个随机种子的平均值,好视角(同一张照片的两条不同描述)达到 0.320,坏视角(单条描述、遮蔽部分词)为 0.192,下一词预测为 0.148。

待验证50%
11月2日

作者对每种方法做了小幅学习率搜索,取最佳速度、单种子运行,结果为 0.328 / 0.196 / 0.168,排序不变,说明领先并非学习率调参的偶然产物。

待验证50%
11月2日

检索指标 R@1(配合一个拟合旋转)显示差距收窄:好视角 0.084,坏视角 0.063,下一词预测 0.057。

待验证50%

全部知识事实 (3)

来源文章