[控场AI]
· 5 分钟阅读· 2,656 字

200+模型实验:视觉编码器预训练非必需,但视觉专属参数不可省

200+模型实验:视觉编码器预训练非必需,但视觉专属参数不可省

200+受控实验表明:视觉需要专属参数,但不需要单独预训练和独立编码器。

Meta FAIR 与 NYU 研究者用 200 多个从头训练的 MLLM 做受控实验,将“标准视觉编码器”拆解为三个可独立检验的变量:是否单独预训练、是否保留视觉专属参数、是否置于 LLM 之前。在统一生命周期算力预算下,结论清晰:编码器单独预训练最多与从头联合训练打平,延长 MetaCLIP 预训练提升 ImageNet 准确率却不提升 VQA;视觉专属参数是硬需求,无编码器模型在各规模均落后且需约 3 倍算力追平;In-fusion 结构在 LLM 前 8 层加入零初始化视觉专属权重,性能与标准编码器持平且首 token 时间降低约 13%。视觉专属通路放在浅层效果最佳。

多模态大模型(MLLM)的视觉编码器设计一直缺乏统一答案:Gemma 4 12B 选择去掉编码器,Kimi K3 从零训练编码器,Inkling 2 Small 又把编码器加了回来。已发布的模型在数据、算力和编码器预训练设置上各不相同,很难据此判断哪个选择真正有效。Meta FAIR 与 NYU 的研究者用 200+ 个从头训练的模型做了一次受控实验,把“标准编码器”拆成三个可独立检验的选择:是否单独预训练、是否保留视觉专属参数、是否放在 LLM 之前。

reddit 讨论帖截图

论文《Unbundling Multimodal Vision Encoding》的核心结论可以概括为一句话:视觉需要自己的参数,但不需要自己的预训练,也不需要独立的编码器模块。

实验设计:200+ 模型、统一预算、从头训练

研究团队训练了 200 多个 MLLM,LLM 部分也全部从头训练,所有模型使用相同数据。关键设计是把编码器预训练算进同一个“生命周期算力预算”——预训练编码器消耗的算力会挤占多模态训练可用的算力,这样对比才公平。

主实验基于 Qwen3-1.7B 和 4B 配置,视觉容量固定为 0.4B 参数,另有一条从 0.6B 到 6.4B 骨干模型的规模阶梯。评测覆盖 Cambrian 的 16 个 VQA 基准(448 像素)和 12 个语言基准,后者考察常识、问答和广泛知识。这种把视觉与语言能力分开评测的方式,能看清一个设计选择到底改善了哪一侧。

“生命周期算力预算”是理解本文实验公平性的关键。在常规做法中,视觉编码器的预训练往往被视为独立于多模态训练之外的“额外开销”——一个用数十亿图文对预训练过的编码器,其消耗的算力并不计入后续多模态对齐阶段。但这会让不同方案之间的比较失真:带预训练编码器的模型实际上动用了更多总计算量。本文把所有算力(包括编码器预训练)统一计入同一个预算池,预训练花得多,留给多模态联合训练的就少。这样就迫使每种设计在同等总算力下竞争,结论才具有可比性。这一设定也解释了为何“免费预训练”并不免费——延长预训练必然挤占下游训练资源。

发现一:单独预训练编码器是可选项

研究者用四种目标预训练编码器:对比学习、自监督、两种 captioning。在同等的总计算量下,这些预训练编码器最多只能和“让编码器随 LLM 一起从头训练”打平。

更反直觉的是“免费预训练”也不管用。团队把 MetaCLIP 的预训练时间延长到 6.5 倍,ImageNet 线性探针准确率从 80.4% 提升到 84.4%,但 VQA 表现没有随之提升。这说明视觉表征在分类任务上的进步,未必能迁移到需要与语言对齐的多模态问答上。

对工程实践的含义是:如果没有现成的、与目标数据分布匹配的编码器,从头联合训练是一个合理选择,不必为省预训练算力而妥协。

ImageNet 线性探针(linear probe)是评估视觉表征质量的经典方法:冻结编码器,仅在其输出特征上训练一个线性分类器,准确率越高说明特征越线性可分。本文用它来检验预训练是否让编码器“学到更好的视觉表征”。结果显示,即便探针准确率从 80.4% 提升到 84.4%,VQA 表现却纹丝不动。原因在于 VQA 需要的不是单纯的物体分类能力,而是视觉特征与语言语义的可对齐性。分类任务优化的是类间判别边界,而多模态问答要求视觉 token 能被 LLM 有效“读懂”并参与推理。两者目标不完全重合,因此分类指标的提升不能作为多模态能力的代理指标。

发现二:视觉专属参数是硬需求

这是实验中最强的结论。无编码器模型在 0.6B 到 6.4B 的每一个规模上都落后,需要大约 3 倍算力才能追平。把编码器的参数量直接交给 LLM 使用,改善的是文本能力,而不是 VQA。

换句话说,视觉 token 必须有一条自己独占的参数通路。参数量本身不是瓶颈,瓶颈在于这些参数是否被文本共享。

发现三:编码器放在 LLM 之前也不是必需的

研究者提出了一种叫“In-fusion”的结构:在 LLM 的前 8 层加入零初始化的视觉专属权重(注意力投影和 FFN),文本 token 从不使用这些权重。从 1.7B 到 6.4B,它与标准编码器表现相当,同时首 token 时间降低约 13%。

消融实验给出了更细的图景:在 1.7B 上,第 1–8 层放置视觉专属分支达到 45.0 VQA(编码器方案为 44.4),而文本共享这些参数时只有 42.3,把分支放到最后 8 层则降到 35.1。视觉专属通路放在浅层效果最好。这一结论在预训练 LLM 的中训练场景下同样成立——往预训练的 1.7B LLM 中加入视觉能力时,规律不变。

“零初始化”是 In-fusion 结构能稳定训练的关键技巧。视觉专属的注意力投影和 FFN 权重初始值设为零,意味着训练开始时这些分支对 LLM 的输出没有任何影响,模型等价于一个纯文本 LLM。随着训练推进,视觉信号通过梯度逐步“激活”这些分支,避免了随机初始化带来的表征扰动。这与 LoRA 中 B 矩阵零初始化的思路一脉相承:先保持原模型行为不变,再渐进引入新能力。零初始化还带来一个好处——文本 token 从不经过这些视觉专属权重,从根本上保证了文本通路的纯净性,也解释了为何文本共享参数时 VQA 会下降:共享会迫使同一组权重同时服务两种模态,产生能力竞争。

对模型选型的启示

当前各家在编码器上的分歧,有一部分其实是“打包选择”造成的混淆:去掉编码器往往同时去掉了视觉专属参数,于是模型变差,但原因被归给了“没有编码器”。这项研究把三个变量拆开后,结论指向一个更简洁的设计空间——

  • 可以省掉独立的视觉编码器和它的预训练;
  • 不能省掉视觉 token 专属的参数容量;
  • 视觉通路不必在 LLM 之前,融进浅层同样可行,还能换来更低的推理延迟。

作者在帖子中标注了自己的作者身份,并表示愿意回答问题。对于正在设计多模态架构或评估开源 MLLM 的团队来说,这组实验提供了一个比“要不要编码器”更准确的提问方式。

参考资料:论文(alphaxiv)、项目博客与 FAQ(unbundling.github.io)、作者在 X 上的线程。

#多模态大模型#视觉编码器#MLLM#视觉预训练#Meta FAIR#VQA#In-fusion
分享:

相关推荐