待验证50% 置信事实精确时间

RLHF依赖大量人工标注构建奖励信号，成本更高但更能捕捉隐性的人类偏好

1

来源数

50%

置信度

长期有效

时效性

2026/7/24

首次发现

来源

Gemini 3.0 Flash比3.5更受欢迎？揭秘AI「对齐税」真相

redditr/Bard2026/7/12

相关事实

已验证传统RLHF依赖人工标注员的偏好判断，成本高且存在标注质量瓶颈77% 相似已验证RLHF存在局限性：人类标注者有偏见和不一致性、奖励模型可能被过度优化（奖励黑客）、流程成本高昂难以扩展75% 相似待验证RLHF（基于人类反馈的强化学习）会放大规避风险效应，因为人类评分者倾向于给保守、无争议的输出打高分74% 相似待验证人类反馈强化学习（RLHF）机制使得人类偏好数据的战略价值急剧攀升，这类数据难以自动化生成，必须依赖真实用户的判断与反馈74% 相似待验证RLHF中人类评估者在主观创作判断时倾向给予结构完整、措辞礼貌的答案更高分，这种偏差被称为奖励黑客的一种变体73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/608894

API

curl https://kongchang.com/api/v1/knowledge/claims/608894

MCP

get_claim(id=608894)