Unverified50% confidenceTradeoffExact time
DPO隐含假设偏好数据服从Bradley-Terry模型，当偏好具有非传递性时可能产生不一致行为
1
Sources
50%
Confidence
Long-term
Relevance
8/6/2026
First Seen
Sources
Related Claims
UnverifiedDPO算法的偏好对齐需要同时准备正例（preferred responses）和负例（dispreferred responses）72% similarUnverified在RLHF中，如果偏好数据质量低下或存在系统性偏差，奖励模型会学到错误信号，导致模型行为偏离预期68% similarUnverified自我偏好偏见指裁判模型倾向偏好由同系列模型生成的输出67% similarUnverifiedDPO的核心洞见是语言模型本身可视为隐式奖励函数，因此可直接对偏好对进行对比学习，绕过显式奖励模型66% similarUnverified循环论证偏差指当特征本身隐含标签信息时模型看似准确率极高实则用答案预测答案66% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/695772API
curl https://kongchang.com/api/v1/knowledge/claims/695772MCP
get_claim(id=695772)