[控场AI]
概念Interleaved Image-Text Alignment

交错图文对齐

一种多模态对齐策略,通过交错排列的图像-文本序列在序列级别建模跨模态依赖,拉近视觉与语言模态的语义距离

时间轴 (近 90 天)

10月16日

交错图文对齐(Interleaved Image-Text Alignment)利用交错排列的图像-文本响应来建立跨模态联系,在选定实体上提供引导能改善模型对其他实体的知识获取,且不需要问答监督信号的直接参与。

待验证50%
10月16日

交错图文对齐借鉴了交错图文预训练的思路,如 Flamingo、OpenFlamingo 等工作中所采用的跨模态注意力结构。

待验证50%

全部知识事实 (2)

来源文章