在线策略蒸馏

大模型训练中的一种蒸馏技术路线，让学生模型在训练过程中持续用自身当前策略生成响应，再由教师模型对这些响应打分或提供概率监督，使学生模型学习改进自身当前错误