偏好数据的验证损失衡量模型对偏好回答的拟合程度，而下游基准考察生成质量，两者并不等价，模型可能降低验证损失却在下游任务上退化。