概念Interleaved Image-Text Alignment
交错图文对齐
一种多模态对齐策略,通过交错排列的图像-文本序列在序列级别建模跨模态依赖,拉近视觉与语言模态的语义距离
时间轴 (近 90 天)
10月16日
交错图文对齐(Interleaved Image-Text Alignment)利用交错排列的图像-文本响应来建立跨模态联系,在选定实体上提供引导能改善模型对其他实体的知识获取,且不需要问答监督信号的直接参与。
待验证50%
10月16日
交错图文对齐借鉴了交错图文预训练的思路,如 Flamingo、OpenFlamingo 等工作中所采用的跨模态注意力结构。
待验证50%