MoR-MLLM：用递归混合机制打造高效多模态大模型

多模态大语言模型（MLLM）在视觉与语言任务上展现出令人惊叹的推理能力，但其庞大的计算与内存开销始终是落地部署的最大障碍。一篇最新发表于 arXiv 的论文提出了 MoR-MLLM，试图通过「按 token 自适应分配算力」的思路，从根本上重构多模态模型的计算范式。

现有轻量化方案的瓶颈

为了降低成本，业界的主流做法是替换更轻量的语言主干（lightweight language backbone）。然而论文指出，这类方案仍然属于「计算密集型」——它们的稀疏性和深度分配是静态的，无法根据每个 token 的语义复杂度灵活调整。

换句话说，无论一个 token 是承载关键视觉信息的复杂区域，还是一个可以几乎忽略的冗余符号，模型都会投入几乎相同的计算量。这种「一刀切」的处理方式造成了大量算力浪费，也是现有小型 MLLM 难以在性能与效率之间取得理想平衡的核心原因。

MoR-MLLM 的核心思路：按 token 自适应递归

MoR-MLLM 建立在近期提出的 Mixture-of-Recursions（MoR，递归混合）框架之上。它引入了自适应的 per-token 递归机制，让模型能够动态调整递归深度：

• 对视觉或语言上更具挑战性的 token，分配更多递归计算；
• 对相对简单、冗余的 token，则跳过多余的运算。

这意味着算力不再被平均分摊，而是像人类注意力一样，被重点投放到真正「值得思考」的部分。这种动态深度分配，正是对现有静态稀疏范式最直接的突破。

Mixture-of-Recursions（MoR）是一种将权重共享与动态路由相结合的神经网络架构范式。其核心思想是：模型的不同层之间共享同一组参数（即「递归」），而非像标准 Transformer 那样为每一层维护独立的权重。在此基础上，MoR 引入路由机制，让不同 token 可以选择执行不同次数的递归——本质上是在同一组参数上「循环」不同的轮数。这与 Mixture-of-Experts（MoE）的稀疏激活思路有相似之处，但 MoE 是在宽度维度（选择哪些专家）上做稀疏，而 MoR 是在深度维度（经过多少层计算）上做稀疏。权重共享大幅压缩了参数量，而动态递归深度则让模型可以将节省下来的算力重新分配给真正需要的 token，兼顾了参数效率与计算效率。

为多模态场景稳定训练而设计

递归稀疏在多模态环境下的训练并不容易稳定——路由决策一旦失衡，模型很容易退化或训练崩溃。针对这一问题，论文提出了两项关键设计：

三阶段 MoR-Tuning 策略

研究团队设计了一套分三个阶段的调优流程（MoR-Tuning），逐步引导模型学会在多模态输入上进行合理的递归稀疏，避免训练初期的不稳定。

熵正则化损失

为了防止路由分布过度集中（即模型总是倾向于对所有 token 采用相同深度），论文引入了熵正则化损失（entropy-regularized loss），鼓励更加多样化的路由分布。这保证了自适应机制真正发挥作用，而不是在训练中「偷懒」坍缩到单一模式。

路由崩溃（routing collapse）是混合专家与动态路由架构训练中的经典难题：由于梯度反馈，路由器很容易陷入局部最优，导致所有 token 都被分配到同一条路径，使得动态路由机制形同虚设。熵正则化通过在损失函数中加入对路由分布熵的惩罚项来缓解这一问题——熵越低意味着分布越集中，对应的正则化惩罚越大，从而在优化过程中激励路由器维持多样化的分配决策。这一技术在 MoE 领域已有广泛应用（如 GShard、Switch Transformer 中的负载均衡损失），MoR-MLLM 将其迁移到递归深度路由场景，是将成熟稳定性技巧适配至新范式的典型做法。

实验结果与意义

论文通过大量实验表明，与近期先进的小型 MLLM 相比，MoR-MLLM 能够显著降低训练内存和计算复杂度，同时在多种视觉-语言任务上保持高性能。

这一结果的意义在于：它提供了一条不同于「单纯缩小模型」的轻量化路径。相比静态压缩，自适应递归让模型在推理时「量体裁衣」，在效率与能力之间找到更优的权衡点。对于希望在边缘设备或资源受限环境中部署多模态模型的开发者而言，这类计算稀疏方案值得持续关注。

展望

MoR-MLLM 代表了多模态大模型效率优化的一个新方向——从「结构压缩」转向「动态算力分配」。随着 Mixture-of-Recursions 这类框架的成熟，未来的 MLLM 或许能够更加智能地决定「在哪里花算力」，从而让高性能多模态推理真正走向广泛的实际应用。不过，作为一篇新发布的研究论文，其方法的泛化能力和在更大规模模型上的表现仍有待更多验证。