MoR-MLLM
基于Mixture-of-Recursions框架的多模态大语言模型，通过自适应per-token递归机制动态调整计算深度，在降低训练内存和计算复杂度的同时保持多模态任务高性能
时间轴 (近 90 天)
一篇发表于arXiv的论文提出了MoR-MLLM，通过按token自适应分配算力重构多模态模型的计算范式
MoR-MLLM建立在Mixture-of-Recursions（MoR，递归混合）框架之上
MoR-MLLM引入自适应的per-token递归机制，对更具挑战性的token分配更多递归计算，对简单冗余的token跳过多余运算
论文提出了三阶段的MoR-Tuning调优流程，逐步引导模型在多模态输入上进行合理的递归稀疏
论文引入熵正则化损失（entropy-regularized loss）防止路由分布过度集中，鼓励更多样化的路由分布
实验表明，与近期先进的小型MLLM相比，MoR-MLLM能显著降低训练内存和计算复杂度，同时在多种视觉-语言任务上保持高性能
MoR-MLLM作为新发布的研究论文，其方法的泛化能力和在更大规模模型上的表现仍有待更多验证
全部知识事实 (7)
论文提出了三阶段的MoR-Tuning调优流程，逐步引导模型在多模态输入上进行合理的递归稀疏
50%待验证MoR-MLLM建立在Mixture-of-Recursions（MoR，递归混合）框架之上
50%待验证MoR-MLLM引入自适应的per-token递归机制，对更具挑战性的token分配更多递归计算，对简单冗余的token跳过多余运算
50%待验证MoR-MLLM作为新发布的研究论文，其方法的泛化能力和在更大规模模型上的表现仍有待更多验证
50%待验证论文引入熵正则化损失（entropy-regularized loss）防止路由分布过度集中，鼓励更多样化的路由分布
50%待验证实验表明，与近期先进的小型MLLM相比，MoR-MLLM能显著降低训练内存和计算复杂度，同时在多种视觉-语言任务上保持高性能
50%待验证一篇发表于arXiv的论文提出了MoR-MLLM，通过按token自适应分配算力重构多模态模型的计算范式
50%