概念Robust Distributionally-Shifted Multi-teacher On-Policy Distillation
RDS-MOPD
一种面向多教师在线策略蒸馏的鲁棒预算分配方法,在分布鲁棒优化框架下引入噪声阈值切换、异常界约束和相对退步定义的最坏领域,以解决有限训练预算下领域间资源分配不稳健的问题
时间轴 (近 90 天)
11月10日
RDS-MOPD 保留了 DRO 的目标框架,但重新设计了三个组成部分:带噪声阈值的分配切换、对单一异常的界约束、重新定义“最坏情况”。
待验证50%
11月10日
RDS-MOPD 的带噪声阈值的分配切换机制规定:只有当领域之间的差异明显超出噪声水平时,才触发预算重新分配。
待验证50%
11月10日
RDS-MOPD 重新定义“最坏情况”:最坏领域不再被定义为绝对表现最差的领域,而是定义为“相对自身最佳水平退步最多”的领域。
待验证50%
11月10日
RDS-MOPD 的三处改动均配有理论保证。
待验证50%
11月10日
论文报告称,RDS-MOPD 在数学推理、代码生成和指令遵循三类基准上,多数指标排名第一,优于近期同类方法。
待验证50%