Agentic-OPD
一种针对强化学习训练后大语言模型智能体能力恢复的在线策略蒸馏方法,通过动态选择历史检查点作为教师,并将蒸馏限制在学生失败且教师更优的局部区域,以恢复被丢弃检查点中的互补能力,同时避免能力回退。
时间轴 (近 90 天)
Agentic-OPD方法利用在线策略蒸馏(OPD)从被丢弃的检查点池中挖掘能力,以恢复丢失的能力覆盖。
从检查点池中蒸馏存在两个关键挑战:选择哪个检查点蒸馏(因问题而异,静态选择行不通)和在哪里信任教师(不加区分蒸馏会导致能力回退)。
Agentic-OPD将最佳验证检查点作为学生,所有保存的检查点作为冻结的教师候选。
HCN(Highest Coverage Next)策略根据教师对学生未解决问题的加权覆盖率动态选择教师。
LAD(Locality-Aware Distillation)模块将知识迁移限制在学生的失败轨迹上,且仅限教师表现更好的问题。
论文在五个智能体任务领域、24个基准和任务子集上进行了评估,Agentic-OPD相比其初始化检查点最多提升7.4分。
一次已经完成的RL训练运行可以被重新视为一个可复用的策略池,而'RL后的能力恢复'是独立于RL算法本身改进的一个阶段。
全部知识事实 (7)
Agentic-OPD方法利用在线策略蒸馏(OPD)从被丢弃的检查点池中挖掘能力,以恢复丢失的能力覆盖。
50%待验证从检查点池中蒸馏存在两个关键挑战:选择哪个检查点蒸馏(因问题而异,静态选择行不通)和在哪里信任教师(不加区分蒸馏会导致能力回退)。
50%待验证Agentic-OPD将最佳验证检查点作为学生,所有保存的检查点作为冻结的教师候选。
50%待验证HCN(Highest Coverage Next)策略根据教师对学生未解决问题的加权覆盖率动态选择教师。
50%待验证LAD(Locality-Aware Distillation)模块将知识迁移限制在学生的失败轨迹上,且仅限教师表现更好的问题。
50%待验证论文在五个智能体任务领域、24个基准和任务子集上进行了评估,Agentic-OPD相比其初始化检查点最多提升7.4分。
50%待验证一次已经完成的RL训练运行可以被重新视为一个可复用的策略池,而'RL后的能力恢复'是独立于RL算法本身改进的一个阶段。
50%