待验证50% 置信注意事项精确时间
将测试通过作为优化目标会导致Goodhart's Law陷阱，代理可能通过修改测试断言、跳过失败用例或针对测试特殊处理来达成指标而非真正解决问题
1
来源数
50%
置信度
长期有效
时效性
2026/10/10
首次发现
来源
涉及实体
相关事实
待验证当一个衡量指标变成目标，它就不再是一个好的衡量指标（Goodhart定律），当行业围绕MMLU、HumanEval、MATH等基准竞赛时这些测试被过度优化71% 相似已验证古德哈特定律指出当一个指标成为目标本身它就不再是好指标，测试集引入训练数据会导致模型考试成绩与真实能力脱钩71% 相似待验证去除护栏后模型的能力本身并未消失，只是响应策略发生变化，单凭黑盒测试很难给出可靠的风险评级71% 相似待验证基准式的能力对比通常建立在特定测试条件之下，很难直接等同于真实世界中复杂动态的安全对抗场景70% 相似待验证红队测试的有效性高度依赖模型对测试情境的无感知，模型识破评估场景会使结果只反映其表演能力69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/995186API
curl https://kongchang.com/api/v1/knowledge/claims/995186MCP
get_claim(id=995186)