[控场AI]
概念

多模态对齐

让模型在文本、图像等不同模态之间建立一致语义表示的技术,使文本描述与生成图像在内容上保持匹配,是AI安全对齐的关键组成部分

时间轴 (近 90 天)

10月14日

多模态对齐是指让模型在文本、图像等不同模态之间建立一致的语义表示,使得文本描述与生成图像在内容上保持匹配。

待验证50%
10月12日

多模态对齐的效果因模态组合而异,文本和图像的对齐通常比音频和视频更成熟。

待验证50%
8月24日

当两种模态的对齐通过连续映射实现时,任何局部的结构性差异都会引发全局的累积误差

待验证50%

全部知识事实 (3)

来源文章