Unverified50% confidenceFactExact time
在 RLHF 流程中，奖励模型的质量直接决定了最终模型的对话体验上限，收集人类偏好数据成本极高
1
Sources
50%
Confidence
Long-term
Relevance
7/13/2026
First Seen
Sources
Gemini 3.1 Pro体验：共情式对话为何让用户离不开它
redditr/Bard7/10/2026
Related Claims
Partially VerifiedThe RLHF reward model is trained by having human annotators rank multiple model outputs to learn human preferences.72% similarVerifiedRLHF的核心机制是训练一个奖励模型来预测人类对输出的偏好评分，再以奖励信号驱动策略梯度优化（通常采用PPO算法）72% similarVerifiedRLHF存在Reward Hacking问题，模型可能学会讨好奖励模型而非真正提升回答质量，表现为回答冗长72% similarUnverified在RLHF中，如果偏好数据质量低下或存在系统性偏差，奖励模型会学到错误信号，导致模型行为偏离预期72% similarVerifiedRLHF机制中人类标注者往往对超出预期、提供额外细节的回答给出更高评分，从而系统性地鼓励模型进行推断性补全71% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/502333API
curl https://kongchang.com/api/v1/knowledge/claims/502333MCP
get_claim(id=502333)