待验证50% 置信事实精确时间
该研究定义了Private Sparse RLHF问题：假设奖励模型仅由s* ≪ d个相关特征控制，且偏好反馈遵循Bradley-Terry-Luce（BTL）模型。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/22
首次发现
有效期至：2027/1/20
来源
涉及实体
相关事实
待验证在RLHF中，如果偏好数据质量低下或存在系统性偏差，奖励模型会学到错误信号，导致模型行为偏离预期72% 相似已验证RLHF本质上是一种行为层面的约束，并不改变模型的底层能力，经过RLHF训练的模型仍保留被限制行为的潜在知识71% 相似待验证小参数模型（如1B量级）容易表现出奉承倾向（sycophancy），倾向于给予用户正面回应而非批判性评估，部分源于RLHF训练强化了「让用户满意」的行为模式69% 相似待验证RLHF本质上是在模型输出分布上施加统计偏好，而非植入真正的价值理解，导致表面对齐在面对对抗性输入时易崩塌68% 相似待验证无审查模型通常通过剔除RLHF中的拒答偏好，或采用直接偏好优化（DPO）等方法显式削弱拒答倾向两种路径实现67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1083974API
curl https://kongchang.com/api/v1/knowledge/claims/1083974MCP
get_claim(id=1083974)