传统多模态模型采用模块化拼接方式，使用CLIP或ViT等视觉编码器将图像转换为特征向量后再输入语言模型，模块间存在信息瓶颈