DPO 的代价是对偏好数据的分布覆盖要求较高，且难以像 PPO 那样灵活引入在线探索。