视觉-语言对齐

一项研究针对84亿参数的多模态基础模型，在日语金融文档上依次进行视觉-语言对齐、数学推理蒸馏和领域微调三个阶段，并在五个文本输入基准上评估性能。

视觉-语言对齐的目标是将图像和文本映射到共享的语义空间，使模型理解两种模态之间的对应关系。