奖励错配（reward misspecification）几乎不可避免地存在于所有复杂任务中，因为任何可被编写成代码的奖励都无法完整覆盖人类想要的全部约束。