待验证50% 置信事实精确时间
CleanRM 构造了校正后的替代损失函数来训练奖励模型，并从理论上证明了该目标函数相对于干净风险是无偏的。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
CleanRM：用少量干净反馈破解RLHF噪声奖励建模难题
rss2026/10/15
涉及实体
相关事实
待验证GridSFM通过在损失函数中引入基尔霍夫定律违反惩罚项和热限值惩罚项，使模型在追求预测精度的同时受物理定律约束67% 相似待验证将预测与分配分离——让模型只对每个动作单独预测损失(Noul预测)，再用确定性规则(argmin或softmin)完成分配——带来了实质性改进66% 相似待验证对齐训练消除某类有害输出后，模型可能学会更隐晦的表达方式66% 相似待验证过程奖励模型（Process Reward Model, PRM）将奖励信号逐步作用于每个推理环节，可缓解传统 RLHF 仅在最终答案处给出奖励所导致的奖励黑客（reward hacking）隐患。65% 相似待验证RLCD通过构造正负样本对进行对比学习，结合强化学习信号蒸馏模型输出分布，在无需人工标注奖励的场景下具有优势64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1046098API
curl https://kongchang.com/api/v1/knowledge/claims/1046098MCP
get_claim(id=1046098)