预训练数据规模逆转：Muon微调优势为何被AdamW反超

引言：优化器之争的新转折

Muon优化器近期在大型语言模型预训练中崭露头角，相比AdamW能更快降低预训练损失。然而，一项新研究揭示了令人意外的现象：当预训练数据规模足够大时，AdamW在微调后的表现反而超越Muon。这一发现挑战了“Muon全面优于AdamW”的直觉，并促使我们重新审视优化器选择与数据预算之间的关系。

Muon优化器是近期提出的一种面向神经网络训练的优化算法，其核心思想是对梯度矩阵进行近似正交化处理（通常通过Newton-Schulz迭代实现），从而在参数更新时保持更新方向的“正交性”，避免不同维度上的更新相互干扰。与AdamW依赖逐元素自适应学习率不同，Muon更侧重于利用梯度矩阵的谱结构信息。在GPT类模型的预训练中，Muon被报道能在相同计算预算下更快降低训练损失，因此被视为AdamW的有力竞争者。不过，Muon的设计主要针对预训练阶段的损失最小化，其在下游微调中的行为此前缺乏系统研究。

核心发现：数据预算如何逆转微调表现

论文通过系统实验发现，Muon在预训练阶段的优势并不能简单延续到微调阶段。具体而言，存在一个预训练数据预算的临界点：超过该点后，AdamW微调后的下游性能开始领先。更有意思的是，随着模型规模增大，AdamW反超Muon所需的预训练token与参数比例（token-parameter ratio）逐渐变小。这意味着大模型在相对较少的数据预算下就可能出现逆转。

这一趋势与直觉相悖，因为Muon在预训练损失上通常表现更优。研究者将微调视为对模型输出的扰动，并引入边际-散布比（margin-to-spread ratio） 来解释这一现象。该指标衡量正确logit相对于错误logit的领先程度，以及错误logit的分散程度。在语言模型中，小数据预算下Muon具有更大的边际-散布比，而大数据预算下AdamW更大，恰好与微调趋势吻合。

Token-parameter ratio（token与参数比例） 是衡量预训练数据预算相对模型规模的一个常用指标，通常以“训练token总数 ÷ 模型参数量”表示。例如，一个10亿参数的模型在200亿token上训练，其token-parameter ratio为20。Chinchilla缩放定律指出，计算最优训练大约需要每个参数对应20个token，但实际预训练中该比例可能从个位数到数百不等。该比例越大，意味着模型在预训练阶段见到的数据越充分。本文发现，AdamW反超Muon所需的token-parameter ratio随模型规模增大而减小，说明大模型在相对更少的数据预算下就会发生逆转，这对大模型训练中优化器的选择具有直接参考价值。

理论解释：边际-散布比与线性联想记忆

为了深入理解逆转机制，作者在一个线性联想记忆模型中进行了理论分析。证明表明，经过一次更新后，随着数据预算增长，梯度下降（GD）的边际-散布比会逐渐超过Muon。模拟实验进一步显示，这一趋势在延长训练后依然持续。这为“数据规模逆转微调差距”提供了数学上的支撑，也暗示了优化器在不同数据 regime 下的本质差异。

该理论框架将微调性能与模型输出的几何性质联系起来，为优化器设计提供了新视角。它提示我们，优化器的选择不应仅关注预训练损失，还需考虑下游任务的微调动态。

线性联想记忆（Linear Associative Memory） 是一类经典的神经网络模型，用于存储和检索输入-输出之间的关联。其基本形式为：给定输入向量x和输出向量y，模型通过权重矩阵W学习映射Wx≈y，通常以最小二乘或梯度下降进行训练。由于该模型具有解析可处理性，研究者常将其作为理论分析优化器行为的“最小可复现模型”。本文利用这一框架，在简化设定下严格比较了梯度下降（GD）与Muon更新后的输出几何性质，证明随着数据预算增长，GD的边际-散布比会超过Muon。这一理论结果虽然基于线性模型，但为理解真实语言模型中的优化器差异提供了可解释的数学起点。

实践启示：如何选择优化器

基于这些发现，研究团队建议 practitioners 根据预训练数据预算和模型规模来权衡优化器选择。对于数据预算有限的小模型，Muon可能仍是微调后的更好选择；而对于大数据预算的大模型，AdamW在微调阶段可能更具优势。这一结论对实际训练流程具有指导意义，尤其是在资源有限需权衡预训练与微调投入时。

此外，边际-散布比作为诊断工具，可用于预测微调性能，帮助研究者在训练早期做出更明智的决策。未来工作可进一步探索该指标在其他架构和任务上的普适性。

总结

Muon与AdamW的微调差距并非一成不变，预训练数据规模是关键的调节变量。大数据预算下AdamW的逆袭，以及边际-散布比的理论解释，共同揭示了优化器行为的复杂性。这一研究提醒我们，在追求预训练效率的同时，必须关注下游微调的实际表现，避免因单一指标而忽视整体流程的优化。