概念
多模态对齐
让模型在文本、图像等不同模态之间建立一致语义表示的技术,使文本描述与生成图像在内容上保持匹配,是AI安全对齐的关键组成部分
时间轴 (近 90 天)
10月14日
多模态对齐是指让模型在文本、图像等不同模态之间建立一致的语义表示,使得文本描述与生成图像在内容上保持匹配。
待验证50%
10月12日
多模态对齐的效果因模态组合而异,文本和图像的对齐通常比音频和视频更成熟。
待验证50%
8月24日
当两种模态的对齐通过连续映射实现时,任何局部的结构性差异都会引发全局的累积误差
待验证50%