自奖励

自奖励（self-rewarding）方法的典型失败模式是奖励hacking：模型学会产出容易被自己打高分的答案，而非真正正确的答案，导致打分能力与生成能力同步漂移、训练信号失真。

JOLT并非首个尝试压缩后训练成本的工作，此前的方向包括拒绝采样微调、直接偏好优化（DPO）系列方法以及各类自奖励机制。