Unverified60% confidenceFactExact time
当前主流对齐方法RLHF（人类反馈强化学习）中评分者往往对超出预期、提供额外价值的回答给予更高分，激励模型补全用户未明确表达的需求
2
Sources
60%
Confidence
Long-term
Relevance
7/10/2026
First Seen
Sources
旗舰模型vs本地27B：谁更忠实执行代码指令？
redditr/ollama7/9/2026
Related Claims
Unverified人类反馈强化学习（RLHF）机制使得人类偏好数据的战略价值急剧攀升，这类数据难以自动化生成，必须依赖真实用户的判断与反馈82% similarUnverifiedRLHF（基于人类反馈的强化学习）会放大规避风险效应，因为人类评分者倾向于给保守、无争议的输出打高分81% similarUnverified研究表明RLHF中的人类评估者倾向于偏好更长、更详细、语气更友善的回答，即使这些回答在事实准确性上并不占优77% similarUnverified谄媚行为的根源可追溯至RLHF训练范式中人类评估员更偏好认同自己观点的回答76% similarUnverified在RLHF阶段，人类标注员往往倾向于给予听起来更友好、更认同用户的回复更高评分，导致模型产生系统性谄媚倾向75% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/460372API
curl https://kongchang.com/api/v1/knowledge/claims/460372MCP
get_claim(id=460372)