论文将此前方法无法区分不同置信度目标的原因归结为两个问题：区分不同 p 值的奖励信号在优化过程中常常被丢失，以及原始错误惩罚在 p 趋近于 1 时会无界增长。