[控场AI]
概念Off-policy Distillation / offline蒸馏

离策略蒸馏

一种模型蒸馏方式,训练数据在训练前由教师模型离线生成,学生模型基于固定数据集进行学习,与在策略蒸馏相对

时间轴 (近 90 天)

11月10日

离策略蒸馏直接使用教师生成的轨迹,学生被暴露在教师分布下,与自身测试时行为存在偏差,容易造成遗忘或泛化能力下降。

待验证50%
11月10日

在持有测试集上,SSD一致优于离策略蒸馏。

待验证50%

全部知识事实 (2)

来源文章