待验证50% 置信事实精确时间

OpenAI在训练RLHF模型时面临标注者多样性问题，最终通过严格的标注者池管理来缓解

1

来源数

50%

置信度

长期有效

时效性

2026/7/19

首次发现

来源

1700万条鼠标轨迹：游戏行为数据的ML应用价值解析

相关事实

待验证OpenAI、Anthropic等公司在预训练之上叠加RLHF，将输出向人类偏好中心对齐76% 相似待验证现代大模型对齐训练高度依赖高质量偏好数据对，以 OpenAI 的 RLHF 和 RLAIF 为代表73% 相似待验证OpenAI在InstructGPT论文中证明，少量高质量人类偏好数据对模型对齐的贡献远超大规模无监督训练72% 相似待验证RL Gym概念源自OpenAI开源的标准化强化学习训练环境框架70% 相似待验证OpenAI、Anthropic等公司都已公开承认RLHF训练中存在谄媚倾向的副作用70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/558061

API

curl https://kongchang.com/api/v1/knowledge/claims/558061

MCP

get_claim(id=558061)