Mistral Large 4深度解析：万亿参数背后的Agent野心

法国AI公司Mistral发布的新模型Mistral Large 4，有个颇具玩味的代号——LeChunk，直译过来就是"胖猫"。这名字起得不算谦虚，毕竟它的总参数量堆到了1.05万亿。但真正运行时只唤醒约491亿参数，可谓"胖得有分寸"——每一次推理并不会把全部参数都调动起来。

真正值得聊的，不是它有多大，而是它为什么这样设计。

参数增长背后的设计哲学

从上一代Large 3到这次Large 4，总参数增长了56%，而激活参数仅增长了20%。这个比例差异透露出Mistral的思路：它没有把力气花在让模型每次回答都更"费劲"上，而是把专家网络铺得更宽。

具体来说，Mistral采用了更细粒度的MoE（混合专家）架构，把专家切得更碎、数量更多，让模型在每次推理时有更多组合可以挑选。

可以这样理解：普通的MoE像是几个大厨轮班上岗，而细粒度MoE则像是一大群各有专长的小厨子，每道菜只叫最合适的几位上场。专家数量多了，但单次推理的计算量却没怎么涨。

不过这里有一个需要澄清的现实：稀疏激活省下的是计算量，而不是显存。完整权重仍然要常驻在多卡机群里，Token在不同设备间寻找合适的专家还会带来通信成本。因此这类模型真正舒适的使用场景是高并发服务——大批量请求同时进入，专家利用率才能拉满。相反，如果你私有部署、以低并发方式运行，反而可能既吃显存又不划算。

MoE（Mixture of Experts，混合专家）架构的核心思想是：模型内部并非每层都由单一的全连接网络构成，而是在关键层放置多个"专家"子网络，每次推理时由一个轻量的"路由器"（Router）动态决定把当前Token分配给哪几位专家处理。这样，模型的参数总量可以大幅扩张，但每次前向传播实际激活的参数量——即计算量——只取决于被选中的专家数量，通常仅为总参数的一小部分。

"细粒度MoE"（Fine-grained MoE）则进一步把每个专家拆分得更小、数量更多，让路由器有更精细的选择粒度。相比每层只有少数几个大型专家，细粒度方案能提升专家的专业化程度和组合的灵活性，但也对路由算法和负载均衡提出了更高要求——需要避免少数热门专家被反复调用、而其他专家几乎闲置的"专家崩塌"（Expert Collapse）问题。

多模态向Agent工作流靠拢

第二个值得关注的点，是Mistral Large 4把多模态能力真正推向了Agent工作流。

一个耐人寻味的细节是：它的视觉编码器从上一代的25亿参数不升反降到了16亿。这并非倒退，而是重心的转移——Mistral不再追求把图像看得多么精细，而是更强调视觉信息进入语言模型之后，如何被用来定位、推理、调用工具，最终完成一整件事。

设想这样一个任务链条：先从PDF里找到图表、放大检查，再去检索相关资料，最后用代码验证结论。这类多步骤任务对视觉的要求不在于"看得清每个像素"，而在于"看懂后能接着干活"。

轨迹强化学习：训练整条做事链路

多步骤Agent任务的训练才是真正的难点。你没法只看最后一句话对不对来给奖励——中间哪怕一步找错了对象，后面全盘皆错。

Mistral的做法是把代码执行、科学计算、事实核查、工具调用都接入同一套强化学习环境：代码能跑测试，计算能直接核对，模糊的部分再交给Reward Model去判断。

这意味着它训练的不再是"最终回答"，而是"整条做事的轨迹"。但轨迹一长，训练速度就慢下来。为此，团队采用大量Actor一步生成数据、Trainer持续更新的架构。代价是Actor手里拿的模型可能已经是旧版本，采出来的样本转眼就成了过时数据，还需要专门处理这种新旧策略错位的问题。

这也解释了为什么它的强项集中在代码、网络安全、电子表格这类有明确验收标准的任务上。

这些任务做完能立刻知道对不对，反馈干净，长轨迹强化学习才使得上劲。反馈越清晰，训练信号越可靠。

文中提到的"新旧策略错位"在强化学习术语中对应 Off-policy 问题。传统的 PPO（Proximal Policy Optimization）等算法要求用于收集经验的"行为策略"与当前正在被优化的"目标策略"保持接近，一旦偏差过大，梯度估计就会失真，训练不稳定甚至发散。在大规模分布式训练中，大量 Actor 并行采样以提升吞吐量，但 Trainer 持续更新权重，导致 Actor 拿到的始终是若干步之前的旧版本——这正是 Off-policy 偏差的来源。常见的应对手段包括：用重要性采样（Importance Sampling）对旧样本做权重修正、设置数据过期阈值丢弃过旧样本，以及采用 GRPO（Group Relative Policy Optimization）等对离线数据更宽容的算法。Mistral 在这一问题上的具体处理方式尚未完全披露，但这也是当前大规模 RLHF/RLVR 训练中公认的工程难点之一。

从零训练与开源计划

还有一个值得注意的细节：这个模型完全在Mistral自己的欧洲数据中心、用3800块Grace Blackwell GPU从零训练，没有做蒸馏，并计划开源全部权重。

从技术路线看，这是一次重新定义"模型应该胖在哪里"的尝试。Mistral真正押注的，或许不是刷榜跑分，而是在Agent场景下那种需要长链条干活、每一步都有据可查的能力。

这条路能不能走通，等权重开源之后应该很快就能见分晓。对于关注开源大模型与Agent应用的开发者来说，Mistral Large 4提供了一个与主流"刷分"路线不同的参照样本。