策略蒸馏

端点式策略蒸馏方法将教师模型RL训练前后log概率差值作为监督信号，施加在学生模型自己生成的轨迹上。

在RL后训练场景下，教师模型的输出分布会随训练不断变化，蒸馏监督信号变为'教师策略的相对变化量'而非绝对输出。

论文将学到的 manipulation policies 蒸馏成基于 RGB 的策略，并在真实硬件上完成了若干挑战性装配任务的 zero-shot transfer。

策略蒸馏通常指用一个学生策略去模仿一个或多个教师策略的行为。