Meta与NYU:200+多模态大模型证实视觉编码器非必需

200多个从零训练的MLLM证明:视觉编码器预训练非必需,但视觉专属参数不可省。
Meta FAIR与NYU的一项大规模受控研究训练了200多个从零开始的MLLM,在统一数据、算力与设计变量下系统拆解视觉编码的作用。核心结论有二:其一,在匹配算力时,四种预训练编码器最好也只能与从零联合训练的编码器打平,延长MetaCLIP预训练虽提升ImageNet线性探测准确率(80.4%→84.4%),却无益于VQA;其二,无编码器模型各规模均落后,约需3倍算力才能追平,说明视觉专属容量不可替代。作者据此提出in-fusion方案,将视觉权重嵌入LLM早期层,效果与独立编码器相当且首token时间降低约13%。研究还验证了结论在预训练LLM上添加视觉能力时依然成立。
多模态大模型(MLLM)的视觉编码器是否必须预训练?Meta FAIR与NYU的一项大规模对照研究给出了反直觉的答案:预训练视觉编码器不是必需的,但视觉专属参数本身不可或缺。这项研究训练了200多个从零开始的MLLM,在严格控制数据、算力和设计变量的条件下,系统性地拆解了视觉编码在MLLM中的角色。

研究背景与动机
当前模型厂商在视觉编码器上的选择出现了明显分化。据作者在Reddit帖中列举,Gemma 4 12B干脆弃用了编码器,Kimi K3放弃了编码器预训练,而Inkling 2 Small又把编码器请了回来。已发布的模型在训练数据、算力规模和“编码器预训练算力是否计入总预算”上的口径各不相同,因此这些公开结果无法真正裁决这场争论。
为此,论文作者做了一项大型受控实验:200多个模型全部从零训练(包括语言模型部分),使用完全相同的数据,把编码器预训练算力计入同一生命周期的总算力预算,每次只改变一个设计选择。评测指标为指令微调后的VQA表现,模型规模覆盖1B到6.4B。
视觉编码器(Vision Encoder) 是多模态大模型中负责将图像转换为特征序列的模块,典型代表如CLIP的ViT、SigLIP的ViT等。传统MLLM架构(如LLaVA)将预训练视觉编码器与LLM通过投影层连接,编码器通常在图像-文本对上以对比学习等方式单独预训练,再冻结或微调接入LLM。所谓“编码器预训练算力是否计入总预算”指的是:若编码器预训练消耗大量算力,但该算力未纳入与从零训练模型的公平比较,结论就会偏向预训练编码器。本文的受控实验正是要把这部分算力折算进同一生命周期预算,从而在同一起跑线上比较两种路线。
核心发现一:编码器预训练是可选项
研究测试了四种预训练编码器,分别采用对比学习、自监督学习和图像描述生成等预训练目标。结果在匹配算力条件下,这些预训练编码器最好也只能与“从零训练、且与LLM同步训练”的编码器打平。
更有意思的是,即便完全不把预训练算力计入预算,延长MetaCLIP的预训练时间也只把ImageNet线性探测准确率从80.4%提升到84.4%,而对VQA并无改善。这说明视觉编码器的预训练收益更多体现在纯视觉识别任务上,并不能自动迁移到多模态理解任务。
ImageNet线性探测(linear probing) 是评估视觉表征质量的经典方法:冻结编码器提取图像特征,仅在其上训练一个线性分类器,在ImageNet 1000类上测准确率。它衡量的是特征对物体类别的线性可分性,属于纯视觉识别层面的能力。VQA(Visual Question Answering,视觉问答) 则要求模型结合图像内容与自然语言问题给出答案,考察的是跨模态对齐与推理能力。二者评价维度不同:线性探测准确率的提升并不必然带来VQA提升,这正是文中“预训练收益停留在纯视觉识别、不自动迁移到多模态理解”这一判断的评测学基础。
核心发现二:视觉专属参数不可省
无编码器(encoder-free)的模型在各个规模上都落后于有编码器的版本,大致需要约3倍算力才能追平。这澄清了一个常见误解:参数的总量本身不是关键,视觉专属参数的作用无法用“把参数让给LLM”来替代。
实验显示,把编码器的参数预算转给LLM,确实能提升文本基准成绩,但VQA表现并不会因此改善。换句话说,视觉信息需要专属的容量来承载。
in-fusion:折中方案
既然参数必须是“视觉专属”的,但未必需要是一个独立的编码器模块,作者提出了in-fusion方案:把视觉专属权重加在LLM的早期层中。在1.7B到6.4B规模上,in-fusion与独立编码器表现相当,同时首token时间(time to first token)降低约13%。
首token时间(Time to First Token, TTFT) 是推理服务中的关键延迟指标,指用户发出请求到模型输出第一个token所经历的时间,主要由预填充(prefill)阶段的计算量决定。在独立编码器架构中,图像需先经编码器前向计算、再通过投影层送入LLM,形成串行的两段式计算;in-fusion将视觉专属权重直接嵌入LLM早期层,视觉与文本token可在同一前向过程中处理,减少了编码器独立前向和跨模块传递的开销,因此能降低TTFT。对交互式多模态应用而言,TTFT直接影响用户体验,这也是in-fusion在效果持平之外的实际价值。
实践启示
对于资源有限的团队,这项研究的意义在于:不必纠结于获取或复现一个预训练视觉编码器,可以把算力集中在与LLM联合训练上。但也不能为了简化架构而直接去掉视觉专属参数——那需要约3倍的算力来弥补。in-fusion提供了一条兼顾效果与推理延迟的思路。
作者也验证了结论的稳健性:在向预训练好的1.7B LLM添加视觉能力时,上述结论依然成立。
局限与讨论
该研究的受控性是其优势,但也意味着结论建立在特定数据分布与训练配方之上。作者在Reddit帖子中披露了自己的作者身份,并开放了论文、博客与FAQ供社区讨论。对于关注MLLM架构设计的研究者和工程师,这项工作的价值在于把“编码器是否必需”这个模糊争论拆解成了可测量的两个问题:预训练是否必要(否),视觉专属容量是否必要(是)。
论文地址:https://www.alphaxiv.org/abs/2611.17334 项目博客与FAQ:https://unbundling.github.io
匹配算力(compute-matched)比较 是本文方法论的核心:在固定总训练FLOPs预算下比较不同架构,而非固定参数量或训练步数。这一设定避免了“给某一方案更多算力所以更好”的混淆,但也意味着结论依赖于具体的算力-数据配比与训练配方(如学习率、数据混合、微调策略)。当数据规模、模态配比或目标任务偏离实验设定时,最优架构可能发生变化。因此文中“预训练非必需、视觉专属容量必需”的结论应理解为在受控条件下的稳健趋势,而非对所有场景的绝对断言。
相关推荐

间谍蜜罐训练内幕:情感解离与锚定技术
间谍如何被训练执行蜜罐任务?一位受训者披露情感解离、香水与关键词锚定、目标照片绑定等心理学技术,解析条件反射如何被用于情报行动,并揭示这套机制在日常生活营销中的类似应用。

前沿AI风险管理:从训练到部署的全链路实践
OpenAI系统阐述前沿AI风险管理框架:从训练阶段的模型对齐,到部署阶段的沙箱隔离与阻断式防护,再到部署后的持续监控,构建贯穿模型全生命周期的分层风险控制体系。

Databricks推出Genie Migrate,简化Serverless迁移
Databricks 发布 Genie Migrate for Serverless,帮助用户将既有工作负载迁移到 Serverless 计算。本文解析该迁移工具的定位、对用户的实际意义以及尚未明确的细节。