[控场AI]
概念

CriticOPD

一种改进在线策略蒸馏(On-Policy Distillation)训练方法的概念框架,通过让教师先对学生错误轨迹进行批判、学生据此重写、教师再以批判作为特权信息对修订输出打分,从而在不依赖外部提示的推理阶段内化纠错能力。

时间轴 (近 90 天)

10月15日

论文提出教师的 recoverability(可恢复性)概念:给定任意学生在某一步的状态前缀,教师都能沿该前缀找到一条通往正确答案的合理路径

待验证50%
10月15日

论文提出 CriticOPD 方法,其流程为三步:教师对学生错误轨迹给出critique(批判),学生依据批判重写解题过程,教师对修订输出打分且批判作为privileged information提供给教师

待验证50%
10月15日

CriticOPD 采用非对称设计:教师评分时拥有批判作为额外信息,而训练学生时批判被去掉,学生只能依赖修订后的输出与教师评分信号

待验证50%
10月15日

Critique(批判)是教师对错误位置、错误原因的显式语言化分析,使教师从续写模式切换到诊断模式

待验证50%
10月15日

论文在两个 Qwen3 学生模型、六个数学推理基准上验证了 CriticOPD 的效果,结果显示其在 OPD 基础上带来稳定提升

待验证50%
10月15日

CriticOPD 在竞赛类数学问题上增益最大,原因是竞赛题步骤链条更长,学生越容易中途走偏,教师跟着错的概率更高

待验证50%
10月15日

CriticOPD 只需要修改训练流程中的监督生成方式,不需要改动模型结构或损失函数形式,可直接叠加到现有的在线蒸馏管线之上

待验证50%
10月15日

作者建议:不要默认教师在任何前缀下都可靠,应先测试教师在学生错误轨迹上的表现,如果它只会附和,则监督信号本身就是噪声

待验证50%

全部知识事实 (8)

来源文章