Accordion
基于混合专家（MoE）架构的弹性深度推理模型，通过固定前缀层循环机制，在不增加参数量的情况下支持多种推理预算，实现单一模型覆盖从低到高的计算预算。
时间轴 (近 90 天)
论文《Accordion: Elastic-Depth Inference via Fixed-Prefix Layer Looping》提出了一种基于混合专家（MoE）的模型Accordion，通过固定前缀层循环支持五种推理预算。
Accordion在37个任务上平均提升3.01个百分点。
Accordion的中间预算仅使用一半额外层执行次数就捕获了89%的增益。
Accordion的核心思路是不增加模型参数，而是通过固定前缀层循环动态调整有效深度。
Accordion的最低预算保留未循环的原始模型。
Accordion的训练分三个阶段：联合预训练、监督微调、强化学习。
在联合预训练阶段，每个微批次随机采样一个预算，仅优化其下一词预测损失，不添加跨预算一致性目标。
在监督微调阶段，Accordion通过参数组合并和预算匹配的多教师在线策略蒸馏，将三个领域专家集成到一个模型中。
Accordion最终模型在各自任务和预算的平均表现上超越了对应的领域专家。
Accordion在所有预算下均表现出强指令跟随性能，且在数学推理和代码生成任务中深度增加带来的增益依然存在。
全部知识事实 (10)
论文《Accordion: Elastic-Depth Inference via Fixed-Prefix Layer Looping》提出了一种基于混合专家（MoE）的模型Accordion，通过固定前缀层循环支持五种推理预算。
50%待验证Accordion在37个任务上平均提升3.01个百分点。
50%待验证Accordion的中间预算仅使用一半额外层执行次数就捕获了89%的增益。
50%待验证Accordion的核心思路是不增加模型参数，而是通过固定前缀层循环动态调整有效深度。
50%待验证Accordion的最低预算保留未循环的原始模型。
50%待验证Accordion的训练分三个阶段：联合预训练、监督微调、强化学习。
50%待验证在联合预训练阶段，每个微批次随机采样一个预算，仅优化其下一词预测损失，不添加跨预算一致性目标。
50%待验证在监督微调阶段，Accordion通过参数组合并和预算匹配的多教师在线策略蒸馏，将三个领域专家集成到一个模型中。
50%待验证Accordion最终模型在各自任务和预算的平均表现上超越了对应的领域专家。
50%待验证Accordion在所有预算下均表现出强指令跟随性能，且在数学推理和代码生成任务中深度增加带来的增益依然存在。
50%