CleanRM
一篇关于用干净偏好数据校准噪声标签来训练奖励模型的论文，旨在从廉价有噪声的标注中获得接近干净标注的质量
时间轴 (近 90 天)
直接用含噪偏好数据训练奖励模型，得到的风险估计是有偏的。
CleanRM 的核心方法是逐样本地校准噪声比例，而非估计全局噪声率。
CleanRM 使用最优传输（Optimal Transport）来对齐含噪偏好分布与少量干净反馈分布。
CleanRM 构造了校正后的替代损失函数来训练奖励模型，并从理论上证明了该目标函数相对于干净风险是无偏的。
CleanRM 整个流程只需要少量干净反馈即可对整个偏好数据集进行去噪。
CleanRM 在去噪指标上超过了当前最先进的基线方法。
CleanRM 在更关键的下游 RLHF 对齐任务中展现出更有效的对齐结果。
最优传输的传输计划矩阵提供了逐样本级别的结构信息，这是实现逐样本校准而非全局统一去噪的关键技术前提。
最优传输的计算开销、干净反馈的采样策略以及噪声比例估计在极端稀疏干净数据下的稳定性，是落地时需要权衡的问题。
全部知识事实 (9)
直接用含噪偏好数据训练奖励模型，得到的风险估计是有偏的。
50%待验证CleanRM 的核心方法是逐样本地校准噪声比例，而非估计全局噪声率。
50%待验证CleanRM 使用最优传输（Optimal Transport）来对齐含噪偏好分布与少量干净反馈分布。
50%待验证CleanRM 构造了校正后的替代损失函数来训练奖励模型，并从理论上证明了该目标函数相对于干净风险是无偏的。
50%待验证CleanRM 整个流程只需要少量干净反馈即可对整个偏好数据集进行去噪。
50%待验证CleanRM 在去噪指标上超过了当前最先进的基线方法。
50%待验证CleanRM 在更关键的下游 RLHF 对齐任务中展现出更有效的对齐结果。
50%待验证最优传输的传输计划矩阵提供了逐样本级别的结构信息，这是实现逐样本校准而非全局统一去噪的关键技术前提。
50%待验证最优传输的计算开销、干净反馈的采样策略以及噪声比例估计在极端稀疏干净数据下的稳定性，是落地时需要权衡的问题。
50%