模型Multi-teacher Adaptive On-policy Self-Distillation
MTA-OPSD
首个Token级自适应On-policy自蒸馏方法，构建多教师池，让每个Token在训练中自适应选择偏好的教师，将教师监督粒度下沉到单个Token。
时间轴 (近 90 天)
10月30日
MTA-OPSD的核心设计是构建一个由候选教师组成的多教师池，并让每个Token在训练过程中自适应地选择自己偏好的教师。
待验证50%
10月30日
在Qwen3模型上针对数学推理任务的实验显示，MTA-OPSD一致优于现有的OPSD方法，相对基座模型的平均增益最高达到+5.9。
待验证50%
10月30日
MTA-OPSD的代码已在GitHub仓库xingzhejun/MTA-OPSD开源。
待验证50%
10月30日
论文目前聚焦于数学推理任务与Qwen3模型，多教师池的构建成本、Token级选择在更长上下文和开放域任务上的表现仍需更多验证。
待验证50%
10月30日
MTA-OPSD将自蒸馏中的教师选择问题转化为Token级的动态路由问题，教师不再静态超参数而是随训练状态和Token上下文变化的变量。
待验证50%
全部知识事实 (5)
待验证
MTA-OPSD的核心设计是构建一个由候选教师组成的多教师池，并让每个Token在训练过程中自适应地选择自己偏好的教师。
50%待验证在Qwen3模型上针对数学推理任务的实验显示，MTA-OPSD一致优于现有的OPSD方法，相对基座模型的平均增益最高达到+5.9。
50%待验证论文目前聚焦于数学推理任务与Qwen3模型，多教师池的构建成本、Token级选择在更长上下文和开放域任务上的表现仍需更多验证。
50%待验证MTA-OPSD将自蒸馏中的教师选择问题转化为Token级的动态路由问题，教师不再静态超参数而是随训练状态和Token上下文变化的变量。
50%待验证MTA-OPSD的代码已在GitHub仓库xingzhejun/MTA-OPSD开源。
50%