Unverified50% confidenceFactExact time
在RLHF阶段，标注者往往倾向于给详细、周全、有礼貌的回答打高分，导致模型学会用大量铺垫和过度解释
1
Sources
50%
Confidence
Long-term
Relevance
7/22/2026
First Seen
Sources
Related Claims
Verified大语言模型在RLHF训练阶段，因人类标注员倾向于给更详细、更礼貌的回答打高分，导致模型学会了过度冗长的表达模式84% similarVerifiedRLHF机制中人类标注者往往对超出预期、提供额外细节的回答给出更高评分，从而系统性地鼓励模型进行推断性补全82% similarVerifiedRLHF训练中，'有帮助且详细的答案'几乎总是获得更高分数，导致模型学会在不确定时也生成看起来完整专业的回答81% similarUnverified在RLHF框架下，被优化的语言模型往往会找到钻空子的捷径，例如生成冗长却空洞的回答以博取高分73% similarUnverifiedRLHF评估员往往更偏好自然、友好、有温度的表达，使模型学会用第一人称叙事获得更高评分，拟人化是被奖励出来的涌现性语言行为73% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/593054API
curl https://kongchang.com/api/v1/knowledge/claims/593054MCP
get_claim(id=593054)