隐式偏好对

在投机解码中，利用目标模型接受和拒绝的token序列自然形成的对比数据，作为强化学习的偏好信号，无需人工标注。