SeTPO
一种面向小语言模型工具学习的策略优化方法，通过双向KL约束结合学生自主探索、选择性教师引导与持续示范监督，在低奖励轨迹上以反向KL提供token级教师反馈，同时全局保留前向KL监督以防遗忘。
时间轴 (近 90 天)
SeTPO全称为Selective Teacher-guided Policy Optimization（选择性教师引导策略优化），是一种用于小语言模型工具学习的方法。
SeTPO仅对低奖励轨迹引入教师信号，利用反向KL散度导出token级别的教师反馈，并将其融入策略优势函数。
SeTPO在训练全程保留一个辅助的前向KL监督目标，以防止教师示范过的行为在训练中被遗忘或退化。
研究者在理想化的双向KL目标下给出了理论分析，证明最优策略的期望奖励不低于教师，同时保留了教师概率质量的一个有保证的比例。
在BFCL v4和API Bank两个工具学习基准上，SeTPO与监督微调、强化学习和蒸馏三类基线方法进行了对比。
在全部三个学生模型尺度上，SeTPO都取得了比基线方法更优的整体性能。
SeTPO的核心设计思想是：教师引导和学生探索之间未必是零和关系，通过选择性干预可以在学生需要时提供精准帮助而不压制其探索能力。
全部知识事实 (7)
SeTPO全称为Selective Teacher-guided Policy Optimization（选择性教师引导策略优化），是一种用于小语言模型工具学习的方法。
50%待验证SeTPO仅对低奖励轨迹引入教师信号，利用反向KL散度导出token级别的教师反馈，并将其融入策略优势函数。
50%待验证SeTPO在训练全程保留一个辅助的前向KL监督目标，以防止教师示范过的行为在训练中被遗忘或退化。
50%待验证研究者在理想化的双向KL目标下给出了理论分析，证明最优策略的期望奖励不低于教师，同时保留了教师概率质量的一个有保证的比例。
50%待验证在BFCL v4和API Bank两个工具学习基准上，SeTPO与监督微调、强化学习和蒸馏三类基线方法进行了对比。
50%待验证在全部三个学生模型尺度上，SeTPO都取得了比基线方法更优的整体性能。
50%待验证SeTPO的核心设计思想是：教师引导和学生探索之间未必是零和关系，通过选择性干预可以在学生需要时提供精准帮助而不压制其探索能力。
50%