待验证50% 置信权衡取舍精确时间

DPO隐含假设偏好数据服从Bradley-Terry模型，当偏好具有非传递性时可能产生不一致行为

1

来源数

50%

置信度

长期有效

时效性

2026/8/6

首次发现

来源

安全对齐的副作用：抑制AI意识声明如何意外改变模型价值观

相关事实

待验证DPO算法的偏好对齐需要同时准备正例（preferred responses）和负例（dispreferred responses）72% 相似待验证在RLHF中，如果偏好数据质量低下或存在系统性偏差，奖励模型会学到错误信号，导致模型行为偏离预期68% 相似待验证自我偏好偏见指裁判模型倾向偏好由同系列模型生成的输出67% 相似待验证DPO的核心洞见是语言模型本身可视为隐式奖励函数，因此可直接对偏好对进行对比学习，绕过显式奖励模型66% 相似待验证循环论证偏差指当特征本身隐含标签信息时模型看似准确率极高实则用答案预测答案66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/695772

API

curl https://kongchang.com/api/v1/knowledge/claims/695772

MCP

get_claim(id=695772)