DeepSeek-V4-Flash-Vision-Exp发布：首款多模态模型，vLLM已支持部署

DeepSeek V4家族迎来首个多模态成员

DeepSeek AI近日发布了 DeepSeek-V4-Flash-Vision-Exp，这是V4系列中的首个多模态模型。话说回来，主流推理框架 vLLM 已第一时间宣布提供对该模型的服务支持，意味着开发者可以立即在生产环境中部署和测试这款视觉语言模型。

这一发布标志着DeepSeek在多模态方向迈出关键一步。此前DeepSeek的V系列模型主要聚焦于纯文本能力和代码推理，而Vision版本的推出，则将其能力边界扩展到了图像理解领域。回顾DeepSeek V系列的发展脉络，从V1首次展示MoE架构在开源模型中的竞争力，到V2引入创新的Multi-head Latent Attention（MLA）机制实现KV Cache的低秩压缩，再到V3在多项基准测试中达到与GPT-4竞争的水平，V系列一直在纯文本领域快速迭代。尽管DeepSeek此前推出过独立的视觉语言模型（如Janus系列），但V系列主线一直缺乏原生的多模态支持。此次Vision-Exp的发布，正是补齐这一关键拼图的重要动作。

技术架构解析：视觉编码器 + MoE骨干

从官方披露的信息来看，DeepSeek-V4-Flash-Vision-Exp 的核心架构可以拆解为三个部分：

视觉编码器与对齐器（Aligner）

该模型在原有的 V4-Flash MoE骨干网络 之上，新增了一个视觉编码器（vision encoder）和一个对齐器（aligner）。这是当前主流多模态大模型的典型设计思路——通过独立的视觉编码器提取图像特征，再由对齐模块将视觉表征映射到语言模型的语义空间，从而让文本主干具备"看图"的能力。

视觉语言模型（VLM）的技术路线经历了显著的演进过程。早期以CLIP（2021年，OpenAI）为代表，通过对比学习将图像和文本映射到统一的嵌入空间。第二阶段以Flamingo（2022年，DeepMind）和BLIP-2（2023年，Salesforce）为代表，采用"冻结视觉编码器+冻结LLM+可训练连接模块"的架构，大幅降低了多模态训练成本。当前主流方案则趋向于在训练后期解冻更多参数进行端到端微调，以获得更深层的图文理解能力。DeepSeek-V4-Flash-Vision-Exp采用的"视觉编码器+对齐器+LLM骨干"架构正处于这一技术演进的前沿，其中对齐器的核心作用是弥合视觉特征空间与语言特征空间之间的"模态鸿沟"（modality gap），通常由轻量级的MLP投影层或交叉注意力模块实现。

这种"骨干+适配器"的模块化设计有一个显著优势：可以在不重新训练整个语言模型的前提下，为已有的强大文本模型快速赋予多模态能力，既节省算力成本，又能最大程度保留原模型的语言与推理性能。

285B/13B 的MoE参数配置

模型采用了 285B总参数 / 13B激活参数 的混合专家（MoE）架构。这意味着模型总规模达到2850亿参数，但在每次推理时仅激活约130亿参数。

混合专家（Mixture of Experts, MoE）架构最早由Jacobs等人在1991年提出，近年来在大规模语言模型领域重新焕发生机。其核心思想是将模型参数分散到多个"专家"子网络中，每次推理时通过一个门控网络（Gating Network）动态选择少量专家参与计算。Google的Switch Transformer（2021年）是将MoE应用于Transformer架构的里程碑工作，证明了稀疏激活可以在保持计算效率的同时大幅提升模型容量。DeepSeek从V2代开始就采用了MoE架构，并在路由策略和专家负载均衡方面做了大量工程优化。285B/13B的参数配置意味着模型拥有约22:1的稀疏比，这在业界属于较高水平的稀疏度。

MoE架构的核心价值在于用较小的推理成本换取较大的模型容量。对于Vision版本而言，这一配置既保证了模型有足够的表征能力去处理复杂的图文任务，又将实际推理开销控制在相对可控的范围内——实际计算量仅相当于一个13B稠密模型，但理论上拥有远超13B模型的知识存储能力。这也是它被标注为"Flash"（快速）版本的技术基础。

关键亮点：多模态扩展下文本能力"零损失"

在多模态模型的开发中，一个常见的痛点是：为了加入视觉能力，模型的纯文本表现往往会出现退化。而DeepSeek官方特别强调，Vision版本的 文本智能体分数（text-agent scores）保持稳定。

这一点值得重视。它表明DeepSeek在为模型注入视觉能力时，并没有牺牲其原有的语言与Agent任务表现。对于希望使用统一模型同时处理文本任务和图文任务的开发者来说，这意味着无需在"多模态"和"文本性能"之间做取舍。

从工程角度看，能做到文本能力零损失通常依赖于精心设计的训练策略——例如冻结部分文本主干参数、采用分阶段训练，或使用平衡的图文混合数据配比，以避免灾难性遗忘。灾难性遗忘（Catastrophic Forgetting）是神经网络领域的经典问题，指模型在学习新任务时会严重损害已学会的旧任务能力。在多模态模型开发中，这一问题尤为突出：当模型大量接触图文数据时，其纯文本推理、代码生成等原有优势能力可能显著退化。业界常用的缓解策略包括：参数冻结策略——在视觉对齐训练阶段冻结LLM主干的全部或大部分参数，仅训练视觉编码器和对齐模块；分阶段训练——先进行视觉-语言对齐预训练，再进行指令微调，每个阶段解冻不同的参数集合；数据配比工程——在多模态训练数据中混入一定比例的纯文本数据（通常称为"replay"或"回放"），维持模型的文本能力；以及LoRA等参数高效微调方法——通过低秩适配器引入视觉能力而不直接修改原始权重。DeepSeek能做到文本智能体分数"零损失"，很可能综合运用了上述多种策略。

vLLM同步支持：从发布到部署无缝衔接

值得关注的另一个信号是，vLLM 在模型发布的同时就宣布了支持。vLLM 是目前业界最流行的高性能LLM推理框架之一，以其高吞吐、低延迟的推理服务能力著称。

vLLM由加州大学伯克利分校的研究团队于2023年开源，其核心创新是PagedAttention技术——借鉴操作系统中虚拟内存的分页管理思想，将KV Cache（键值缓存）组织为非连续的内存块，从而将KV Cache的内存利用率从传统实现的20%-40%提升到接近100%。这一改进直接转化为更高的批处理吞吐量和更低的推理延迟。除PagedAttention外，vLLM还支持连续批处理（Continuous Batching）、张量并行（Tensor Parallelism）、投机解码（Speculative Decoding）等多种优化技术。对于MoE模型而言，vLLM还需要处理专家并行（Expert Parallelism）的调度问题，确保不同专家的计算负载在多GPU之间合理分配。vLLM对多模态模型的支持也在快速演进中，已经能够处理图像输入的预处理、视觉特征的缓存管理等VLM特有的工程挑战。

第一时间获得vLLM支持，意味着这款模型不仅是一个研究性质的实验发布（名称中的"Exp"确实暗示了实验属性），而是已经具备了实际可部署、可服务的工程条件。开发者可以借助vLLM快速搭建推理服务，将其接入自己的应用场景中。

这种"模型发布"与"推理框架支持"同步推进的模式，正在成为开源大模型生态的新常态，大幅缩短了从模型开源到实际落地的时间窗口。

总结与展望

DeepSeek-V4-Flash-Vision-Exp 的发布，是V4家族向多模态演进的重要一步：

• 它验证了在强大的MoE文本骨干上快速扩展视觉能力的可行性；
• 它证明了多模态扩展可以做到不损害原有文本性能；
• 它借助vLLM实现了即时可部署，开发者可直接上手体验。

作为一个带有"实验（Exp）"标签的版本，它更像是DeepSeek多模态路线的先行探索。可以预期，未来V4家族大概率会推出更成熟、能力更全面的多模态正式版本——可能支持更高分辨率的图像输入、视频理解，甚至多图推理等进阶能力。对于关注开源多模态生态的开发者和研究者而言，这款视觉语言模型值得第一时间部署试用。

核心要点