Mistral Large 4：欧洲首个万亿参数开源模型深度解析

欧洲AI实验室Mistral AI发布了Mistral Large 4的公开预览版，这是一个拥有1.05万亿参数的多模态混合专家（MoE）模型，内部代号"Le Chonk"。更引人注目的是，Mistral承诺在月底开放模型权重，使其成为欧洲实验室迄今发布的最大规模开源权重模型。

对于希望在自有基础设施上运行前沿规模模型的团队而言，这次发布值得仔细审视。

架构设计：细粒度MoE与独立视觉编码器

Mistral Large 4采用稀疏混合专家架构，总参数量达到1.05万亿，但每个token仅激活520亿参数。这种"细粒度"MoE设计的独特之处在于：路由器从更大规模的小型专家池中选择，而非将token路由到少数几个大型专家模块。更细粒度的路由控制意味着每个token能被分配到更匹配的专用容量，Mistral表示这同时提升了吞吐量和任务专业化程度。

模型还配备了一个独立的16亿参数视觉编码器用于处理图像输入。该编码器将图表、工程图纸、卫星图像、PDF等视觉内容转换为语言主干可以推理的表示形式。这意味着单一模型即可完成指令遵循、多步推理和多模态理解，无需在多个系统之间切换。

训练层面，模型在Mistral自有的欧洲数据中心内，使用3800块NVIDIA Grace Blackwell GPU从零训练完成，而非租用云算力。文档标注的上下文窗口为100万token，但部分第三方提供商的预览API目前限制在52.4万token。

混合专家（MoE）架构的核心思想是将单个稠密前馈网络拆分为多个并行的"专家"子网络，再通过一个轻量级的**路由器（router）**为每个token动态选择激活哪些专家。由于每个token只经过被选中的少数专家，模型可以在总参数量极大的同时把单次前向计算量控制在较低水平——这正是"参数量"与"激活参数量"分离的原因。传统MoE倾向于使用少量大型专家，而Mistral Large 4的"细粒度"设计使用数量更多、体积更小的专家池，使路由决策更精确，单个token能匹配到更贴合的专用容量。

这种设计带来两方面的权衡：一方面，更细的粒度通常提升模型的表达能力和任务专业化程度；另一方面，专家越细，路由负载越难均衡，容易出现"少数专家被过度使用、其余专家训练不足"的问题，需要在训练中加入**负载均衡损失（load balancing loss）**来约束。此外，MoE对推理基础设施也提出额外要求——不同token会命中不同专家，因此显存需容纳全部专家权重，这也是万亿参数MoE自托管门槛高企的直接原因。

大规模强化学习：动态适应的后训练管线

Mistral将后训练方法描述为"RL at scale"——一种随着模型能力变化而动态调整的强化学习管线。与运行固定的RL课程不同，该系统持续调整任务分布，使训练始终处于模型当前能力的边界地带。

在当前算力规模下（约3000块GPU），单次训练运行每天产生约330亿token，其中约160亿为可训练完成token（经过过滤和掩码后）。管线针对长轨迹做了优化，支持跨多个压缩步骤的百万级token rollout预算——这正是模型能够从复杂多轮智能体任务中学习的关键。

Mistral还透露，预览版背后的RL运行仍在进行中，模型在权重发布前预计会持续改进。这种对发布时间线的透明披露在业内并不常见。

"RL at scale"中的rollout指强化学习训练中让模型针对给定提示生成完整解答序列的过程。在智能体（agent）场景下，一条轨迹可能包含数十甚至上百步的工具调用、观察与推理，因此单条rollout可能消耗数十万乃至上百万token。Mistral提到的"百万级token rollout预算"与"跨多个压缩步骤"，意味着系统需要在超长上下文下维持轨迹连贯性，并对中间状态做压缩以减少显存与计算压力。

所谓动态调整任务分布，对应的是课程学习（curriculum learning）的思想：任务太难则奖励信号稀疏、几乎学不到东西，太易则没有梯度价值。系统持续把难度锚定在模型当前能力的"边界地带"，使奖励方差保持在信息量最高的区间。每天330亿token、其中约160亿为可训练完成token，说明有近一半生成内容在过滤与掩码后被丢弃——这些通常包括格式错误、无效工具调用或未通过验证的轨迹。过滤比例本身也是衡量管线效率与奖励模型质量的重要指标。

基准测试：编码、安全与多模态表现

Mistral公布了多个领域的测试结果，以下为核心数据：

智能体编码：

• DeepSWE v1.1：61.7%
• SWE-Atlas-QnA：59.4%
• Terminal-Bench 4：28.3%
• 综合编码智能体指数：49.8%（领先DeepSeek^广告 V4 Pro和Qwen3.8 Max）

智能体工作流：

• AutomationBench（657个业务流程）：59.9%
• AA-Briefcase（长周期知识工作）：1393 Elo

网络安全：

• Cybench（40个CTF挑战）：93%
• 漏洞复现与修补测试：82%
• B3 AI安全基准（抗攻击）：93.3%

多模态：

• Dense 200视觉定位：42%（GPT-6 Astra为41%）

在Surge AI组织的盲评中，专业标注员给预览版打出3.74/5，在五个模型中排名第二——落后于Claude Opus 5（4.22），领先于GLM-5.3、Kimi K3和GLM-5.2。独立评估机构Artificial Analysis在推理模式下给出38分智能指数，相比非推理版Mistral Large 3的9分有大幅提升。中国实验室的开源模型在该指数上仍然领先（GLM-5.3为45分，Kimi K3为44分），但Mistral Large 4在中国以外开发的开源模型中排名第一。

网络安全：一等公民级能力

Mistral Large 4的一个刻意设计选择是将网络安全作为核心能力而非附加功能。模型在权重发布前正由网络安全机构和政府部门进行红队测试，Mistral还向经过审查的防御方提供降低审核、扩展网络能力的版本。

这一策略有实际考量：在事件响应和漏洞研究中，提供商级别的拒绝回答会阻碍合法工作。一个可以按组织自身政策自托管、不会拒绝分析恶意软件或复现已知CVE的模型，与带有保守安全过滤器的托管API有本质区别。Artificial Analysis网络指数将Mistral Large 4列为全球前五，在中国以外开发的开源模型中领先。

**红队测试（red teaming）**指由独立的安全研究人员或机构主动尝试诱导模型产生有害输出、绕过安全护栏或发现能力边界的过程。模型在权重发布前接受网络安全机构与政府部门的红队测试，是为开源权重模型建立信任的常见做法——因为一旦权重公开，任何安全过滤器都可被本地绕过，安全责任从提供商转移到部署方。

"降低审核版本"（reduced-refusal / uncensored variant）是近年来面向防御方的一种折中方案：模型不再对分析恶意软件、复现已知CVE、编写漏洞利用代码等请求一概拒绝，而是交由经过审查的组织按其自身政策管理。这类版本的争议在于，它同样降低了攻击方的使用门槛，因此通常只发放给通过资质审查的安全厂商、政府机构与关键基础设施运营方。对于安全团队而言，其实际价值在于事件响应时间窗口——攻击发生时的分析工作无法等待托管API的审核流程。这也解释了为什么Mistral把网络安全定位为架构级选择，而非事后叠加的过滤器。

定价与自托管门槛

预览API定价为每百万输入token 1.36美元、每百万输出token 4.18美元（批量调用享50%折扣）。Mistral还提供欧洲区域端点api.eu.mistral.ai，满足数据驻留需求，价格为标准定价的1.1倍。

自托管的硬件门槛相当高。按每参数8位计算，1.05万亿参数需要约1TB内存，还不含KV缓存和运行时开销。全精度推理需要多节点GPU集群，量化部署可大幅降低需求。Mistral尚未公布权重的许可协议。

**KV缓存（Key-Value cache）**是自回归生成中为避免重复计算注意力而产生的显存开销：模型每生成一个token，都需要缓存此前所有token的键值对。其大小与层数、注意力头数、头维度、序列长度和批大小成正比，在100万token上下文下可轻易达到数百GB量级，往往超过模型权重本身。因此文章给出的"约1TB内存"仅是权重部分的估算。

**量化（quantization）**指用更低比特位宽表示权重，常见有8位（INT8）、4位（INT4）乃至更低。8位量化大致可将显存需求减半，4位则进一步压缩，但会带来精度损失，且并非所有算子都能高效低比特执行。此外，MoE模型的量化比稠密模型更复杂：专家之间的权重分布差异较大，统一量化粒度容易导致部分专家退化，通常需要按专家或按通道做更细的缩放。实际部署还需考虑张量并行、专家并行等切分策略，以及节点间高速互联带宽——这些共同决定了自托管的真实成本。

对实践者的意义

开源权重承诺至关重要。 大多数万亿参数模型都是闭源API。Mistral Large 4选择开源权重——即使许可协议尚未公布——意味着组织可以审计模型、微调并在私有基础设施上运行。这与托管API的风险特征截然不同。

RL训练管线才是真正的故事。 基准测试数据固然有竞争力，但更有趣的细节是训练基础设施：每天330亿token、长轨迹rollout、以及随模型能力动态调整的管线。这种后训练机制是区分前沿实验室与其余玩家的关键，而Mistral正在欧洲构建这套能力。

多模态已是标配。 视觉编码器不是独立产品，而是基础模型的一部分。对于构建文档处理、卫星图像分析或工程工作流工具的团队，单一模型同时处理文本和图像可以显著简化技术栈。

自托管硬件门槛不容忽视。 8位精度下1TB内存对多数组织而言不是单服务器部署。量化版本会有帮助，但在更小的蒸馏变体出现之前，应做好多节点部署或使用托管推理的准备。

Mistral Large 4是一次技术上严肃的发布：万亿参数MoE、细粒度路由架构、专用视觉编码器，以及为长周期智能体任务设计的强化学习管线。权重预计月底发布，届时完整架构细节和后训练方法论也将一并公开。