待验证50% 置信事实精确时间
OpenAI、Anthropic等公司在预训练之上叠加RLHF，将输出向人类偏好中心对齐
1
来源数
50%
置信度
长期有效
时效性
2026/7/14
首次发现
来源
AI提升科研效率，却让科学发现走向同质化
hackernewshackernews2026/7/12
相关事实
待验证OpenAI和Anthropic等公司通过收集人类标注员对模型输出的偏好排序数据，训练奖励模型，再用PPO等强化学习算法微调语言模型进行安全对齐78% 相似待验证OpenAI在训练RLHF模型时面临标注者多样性问题，最终通过严格的标注者池管理来缓解76% 相似待验证OpenAI训练InstructGPT、Anthropic训练Claude均大量依赖人在回路机制74% 相似待验证OpenAI在InstructGPT论文中证明，少量高质量人类偏好数据对模型对齐的贡献远超大规模无监督训练73% 相似待验证现代大模型对齐训练高度依赖高质量偏好数据对，以 OpenAI 的 RLHF 和 RLAIF 为代表71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/503903API
curl https://kongchang.com/api/v1/knowledge/claims/503903MCP
get_claim(id=503903)