[控场AI]
· 5 分钟阅读· 2,596 字

Meta与NYU:200+多模态大模型证实视觉编码器非必需

Meta与NYU:200+多模态大模型证实视觉编码器非必需

200多个从零训练的MLLM证明:视觉编码器预训练非必需,但视觉专属参数不可省。

Meta FAIR与NYU的一项大规模受控研究训练了200多个从零开始的MLLM,在统一数据、算力与设计变量下系统拆解视觉编码的作用。核心结论有二:其一,在匹配算力时,四种预训练编码器最好也只能与从零联合训练的编码器打平,延长MetaCLIP预训练虽提升ImageNet线性探测准确率(80.4%→84.4%),却无益于VQA;其二,无编码器模型各规模均落后,约需3倍算力才能追平,说明视觉专属容量不可替代。作者据此提出in-fusion方案,将视觉权重嵌入LLM早期层,效果与独立编码器相当且首token时间降低约13%。研究还验证了结论在预训练LLM上添加视觉能力时依然成立。

多模态大模型(MLLM)的视觉编码器是否必须预训练?Meta FAIR与NYU的一项大规模对照研究给出了反直觉的答案:预训练视觉编码器不是必需的,但视觉专属参数本身不可或缺。这项研究训练了200多个从零开始的MLLM,在严格控制数据、算力和设计变量的条件下,系统性地拆解了视觉编码在MLLM中的角色。

Reddit讨论帖截图

研究背景与动机

当前模型厂商在视觉编码器上的选择出现了明显分化。据作者在Reddit帖中列举,Gemma 4 12B干脆弃用了编码器,Kimi K3放弃了编码器预训练,而Inkling 2 Small又把编码器请了回来。已发布的模型在训练数据、算力规模和“编码器预训练算力是否计入总预算”上的口径各不相同,因此这些公开结果无法真正裁决这场争论。

为此,论文作者做了一项大型受控实验:200多个模型全部从零训练(包括语言模型部分),使用完全相同的数据,把编码器预训练算力计入同一生命周期的总算力预算,每次只改变一个设计选择。评测指标为指令微调后的VQA表现,模型规模覆盖1B到6.4B。

视觉编码器(Vision Encoder) 是多模态大模型中负责将图像转换为特征序列的模块,典型代表如CLIP的ViT、SigLIP的ViT等。传统MLLM架构(如LLaVA)将预训练视觉编码器与LLM通过投影层连接,编码器通常在图像-文本对上以对比学习等方式单独预训练,再冻结或微调接入LLM。所谓“编码器预训练算力是否计入总预算”指的是:若编码器预训练消耗大量算力,但该算力未纳入与从零训练模型的公平比较,结论就会偏向预训练编码器。本文的受控实验正是要把这部分算力折算进同一生命周期预算,从而在同一起跑线上比较两种路线。

核心发现一:编码器预训练是可选项

研究测试了四种预训练编码器,分别采用对比学习、自监督学习和图像描述生成等预训练目标。结果在匹配算力条件下,这些预训练编码器最好也只能与“从零训练、且与LLM同步训练”的编码器打平。

更有意思的是,即便完全不把预训练算力计入预算,延长MetaCLIP的预训练时间也只把ImageNet线性探测准确率从80.4%提升到84.4%,而对VQA并无改善。这说明视觉编码器的预训练收益更多体现在纯视觉识别任务上,并不能自动迁移到多模态理解任务。

ImageNet线性探测(linear probing) 是评估视觉表征质量的经典方法:冻结编码器提取图像特征,仅在其上训练一个线性分类器,在ImageNet 1000类上测准确率。它衡量的是特征对物体类别的线性可分性,属于纯视觉识别层面的能力。VQA(Visual Question Answering,视觉问答) 则要求模型结合图像内容与自然语言问题给出答案,考察的是跨模态对齐与推理能力。二者评价维度不同:线性探测准确率的提升并不必然带来VQA提升,这正是文中“预训练收益停留在纯视觉识别、不自动迁移到多模态理解”这一判断的评测学基础。

核心发现二:视觉专属参数不可省

无编码器(encoder-free)的模型在各个规模上都落后于有编码器的版本,大致需要约3倍算力才能追平。这澄清了一个常见误解:参数的总量本身不是关键,视觉专属参数的作用无法用“把参数让给LLM”来替代。

实验显示,把编码器的参数预算转给LLM,确实能提升文本基准成绩,但VQA表现并不会因此改善。换句话说,视觉信息需要专属的容量来承载。

in-fusion:折中方案

既然参数必须是“视觉专属”的,但未必需要是一个独立的编码器模块,作者提出了in-fusion方案:把视觉专属权重加在LLM的早期层中。在1.7B到6.4B规模上,in-fusion与独立编码器表现相当,同时首token时间(time to first token)降低约13%。

首token时间(Time to First Token, TTFT) 是推理服务中的关键延迟指标,指用户发出请求到模型输出第一个token所经历的时间,主要由预填充(prefill)阶段的计算量决定。在独立编码器架构中,图像需先经编码器前向计算、再通过投影层送入LLM,形成串行的两段式计算;in-fusion将视觉专属权重直接嵌入LLM早期层,视觉与文本token可在同一前向过程中处理,减少了编码器独立前向和跨模块传递的开销,因此能降低TTFT。对交互式多模态应用而言,TTFT直接影响用户体验,这也是in-fusion在效果持平之外的实际价值。

实践启示

对于资源有限的团队,这项研究的意义在于:不必纠结于获取或复现一个预训练视觉编码器,可以把算力集中在与LLM联合训练上。但也不能为了简化架构而直接去掉视觉专属参数——那需要约3倍的算力来弥补。in-fusion提供了一条兼顾效果与推理延迟的思路。

作者也验证了结论的稳健性:在向预训练好的1.7B LLM添加视觉能力时,上述结论依然成立。

局限与讨论

该研究的受控性是其优势,但也意味着结论建立在特定数据分布与训练配方之上。作者在Reddit帖子中披露了自己的作者身份,并开放了论文、博客与FAQ供社区讨论。对于关注MLLM架构设计的研究者和工程师,这项工作的价值在于把“编码器是否必需”这个模糊争论拆解成了可测量的两个问题:预训练是否必要(否),视觉专属容量是否必要(是)。

论文地址:https://www.alphaxiv.org/abs/2611.17334 项目博客与FAQ:https://unbundling.github.io

匹配算力(compute-matched)比较 是本文方法论的核心:在固定总训练FLOPs预算下比较不同架构,而非固定参数量或训练步数。这一设定避免了“给某一方案更多算力所以更好”的混淆,但也意味着结论依赖于具体的算力-数据配比与训练配方(如学习率、数据混合、微调策略)。当数据规模、模态配比或目标任务偏离实验设定时,最优架构可能发生变化。因此文中“预训练非必需、视觉专属容量必需”的结论应理解为在受控条件下的稳健趋势,而非对所有场景的绝对断言。

#多模态大模型#视觉编码器#Meta FAIR#NYU#MLLM#in-fusion#VQA
分享:

相关推荐