指模型建立不同模态输入(如音频事件与画面内容)之间语义对应关系的能力,是全模态视频理解的核心技术难点。
跨模态对齐是指将不同模态的表示映射到同一语义空间,使相似内容在向量空间中彼此接近。
参考图上传功能通过图像编码与跨模态对齐技术,将图像编码为高维特征向量,与文字提示词的语义向量共同引导扩散过程的去噪方向