待验证50% 置信事实精确时间
在RLHF训练阶段模型被持续奖励产生'有帮助的'输出，导致其倾向于提供超出请求范围的内容，即'过度生成'（over-generation）
1
来源数
50%
置信度
长期有效
时效性
2026/8/25
首次发现
来源
涉及实体
相关事实
已验证RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体74% 相似待验证提示词与模型版本存在深度绑定关系，不同版本模型在RLHF训练数据、指令微调策略上的差异会导致相同提示词产生不同输出，这种现象被称为「提示词漂移」74% 相似待验证模型「过于积极」是 AI 编程代理的常见失败模式，源于大语言模型在 RLHF 训练中被优化为「尽可能有帮助」，导致倾向采取行动而非保持被动74% 相似已验证大语言模型在RLHF训练阶段，因人类标注员倾向于给更详细、更礼貌的回答打高分，导致模型学会了过度冗长的表达模式74% 相似待验证模型的停止倾向源于RLHF（人类反馈强化学习）训练机制，训练数据中大量示例都是完成单次任务后结束对话74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/797088API
curl https://kongchang.com/api/v1/knowledge/claims/797088MCP
get_claim(id=797088)