Accordion：固定前缀循环实现弹性深度推理，一个模型五种预算

大语言模型需要服务不同推理预算的应用，但为每个预算单独训练和维护模型成本高昂。近期，一篇名为《Accordion: Elastic-Depth Inference via Fixed-Prefix Layer Looping》的论文提出了一种基于混合专家（MoE）的模型Accordion，通过固定前缀层循环支持五种推理预算，在37个任务上平均提升3.01个百分点，且中间预算仅用一半额外层执行就捕获了89%的增益。

背景：推理预算的困境与循环Transformer的局限

不同应用对推理延迟、计算资源和成本有不同要求，大模型需要灵活调整计算量。传统做法是为每个预算训练独立模型，但这带来巨大的训练和维护开销。循环Transformer通过参数复用支持灵活推理计算，但如何在多个预算下保持强劲性能仍是未解难题。

Accordion的核心思路是：不增加模型参数，而是通过固定前缀层循环来动态调整有效深度。每个预算对应一个预定义的执行路径，最低预算保留未循环的原始模型。这样，一个模型就能覆盖从低到高的推理预算，而无需重新训练多个模型。

混合专家（Mixture of Experts, MoE）是一种稀疏激活的模型架构：模型包含多个并行的“专家”子网络（通常是前馈层），但每个输入 token 只被路由到其中少数几个专家进行计算，其余专家不参与。这样，模型的总参数量可以远大于每次前向传播实际激活的参数量，从而在控制计算成本的同时扩大模型容量。MoE 的关键组件是门控/路由网络，它根据 token 表示决定激活哪些专家，并通常引入负载均衡损失以避免专家利用不均。Accordion 基于 MoE 架构，意味着它在扩大参数规模的同时保留了较低的每 token 计算开销，这为后续通过层循环动态调整有效深度提供了良好的成本基础。

循环 Transformer（looped Transformer）指在推理或训练时让部分层（或全部层）被重复执行多次，从而在不增加参数量的情况下增加有效计算深度。其直觉是：同一组权重可以被反复调用，相当于用更少的参数模拟更深的网络。然而，循环 Transformer 面临几个挑战：重复执行相同层可能导致表示退化或训练不稳定；不同循环次数下的性能差异较大，难以用一个模型同时覆盖多个计算预算；此外，循环带来的额外计算并非总是线性转化为性能提升，存在收益递减。Accordion 的固定前缀层循环正是针对这些问题，将循环限制在前缀层并配合预算感知训练来稳定多预算性能。

方法：固定前缀循环与预算感知训练

Accordion基于混合专家架构，支持五种推理预算。每个预算对应不同的循环次数，但循环仅限于模型的前缀层，因此称为“固定前缀层循环”。这种设计在增加推理深度的同时，控制了计算量的增长。

训练分三个阶段。联合预训练阶段，每个微批次随机采样一个预算，仅优化其下一词预测损失，不添加跨预算一致性目标。这避免了多任务训练的复杂性，同时让模型学会在不同预算下工作。

监督微调阶段，通过参数组合并和预算匹配的多教师在线策略蒸馏，将三个领域专家集成到一个模型中。强化学习阶段进一步保持各预算的性能。最终模型在各自任务和预算的平均表现上超越了对应的领域专家，同时在所有预算下保持强指令跟随能力，并在数学推理和代码生成中保留深度相关增益。

在线策略蒸馏（on-policy distillation）是一种知识蒸馏变体：学生模型在自身生成的输出分布上采样，并由教师模型对这些样本给出监督信号（如 token 级概率或评分），而不是仅在固定的离线数据上模仿教师。由于学生是在自己产生的轨迹上接受纠正，它能更好地缓解训练与推理分布不一致的问题。Accordion 在监督微调阶段采用预算匹配的多教师在线策略蒸馏：针对不同推理预算，选择在该预算下表现最好的领域专家作为教师，让学生模型在自身策略采样的基础上向多教师学习，从而将多个领域专家的能力集成到单一弹性模型中。

参数合并（parameter merging）通常指将多个独立训练得到的模型（或同一模型的不同微调版本）的权重通过平均、任务算术（task arithmetic）或 Fisher 加权等方式融合为一个模型。其优势是无需额外训练即可组合多个专家能力，但简单平均可能导致性能下降，因此常需配合蒸馏或微调来恢复。Accordion 利用参数合并将三个领域专家整合为初始化，再通过预算匹配的多教师在线策略蒸馏进行精炼，使合并后的模型在各预算下都能接近或超越对应专家，这也是其“最终模型在各自任务上超越领域专家”结论的关键技术环节。

实验结果：深度增加带来稳定提升

经过3.6T token的预训练，Accordion-6B-A0.5B在37个任务上的五类宏平均随推理深度增加提升3.01个百分点。中间预算仅使用一半的额外层执行次数，就获得了89%的增益，表明性能提升并非线性依赖于计算量，存在效率最优区间。

最终模型在所有预算下均表现出强指令跟随性能，且在数学推理和代码生成任务中，深度增加带来的增益依然存在。这意味着用户可以根据任务难度灵活选择预算，在简单任务上节省计算，在复杂任务上获得更好效果。

意义与展望

Accordion为弹性推理提供了一种实用的解决方案，通过单一模型覆盖多种预算，显著降低了训练和部署成本。其固定前缀循环的设计平衡了灵活性与效率，而多教师蒸馏和参数合并技术则保证了各预算下的性能。未来，这种方法有望扩展到更多预算和更广泛的任务领域，推动大模型在资源受限场景下的落地。

论文链接：Accordion: Elastic-Depth Inference via Fixed-Prefix Layer Looping（示例链接，请替换为实际链接）