指模型建立不同模态输入(如音频事件与画面内容)之间语义对应关系的能力,是全模态视频理解的核心技术难点。
参考图上传功能通过图像编码与跨模态对齐技术,将图像编码为高维特征向量,与文字提示词的语义向量共同引导扩散过程的去噪方向