待验证50% 置信注意事项精确时间

模型在训练过程中学习到的目标往往与人类真正期望的价值观和行为准则存在偏差

1

来源数

50%

置信度

长期有效

时效性

2026/9/5

首次发现

来源

AI风险的根源：训练技术埋下了哪些隐患

涉及实体

目标错位concept AI对齐concept

相关事实

待验证古德哈特定律指出当一个指标成为目标本身它就不再是好指标，测试集引入训练数据会导致模型考试成绩与真实能力脱钩77% 相似待验证推理模型幻觉率上升的根本原因是激励机制错位：强化学习训练使模型倾向于生成详尽、有说服力的思维链，人类评估者给予论述详尽的回答更高评分，即使其中包含事实性错误74% 相似待验证仅凭人类演示训练出的初始策略上限被人类玩家的认知偏见和习惯性操作模式所锁定，突破人类水平来自大规模自对弈72% 相似待验证在机器人学习研究中，训练失败时研究者通常首先怀疑模型架构或超参数选择，而数据质量问题往往是最后才被排查到的因素70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/862076

API

curl https://kongchang.com/api/v1/knowledge/claims/862076

MCP

get_claim(id=862076)