待验证50% 置信事实精确时间

AI基准测试存在训练数据污染、过度优化特定指标（Goodhart定律效应）以及无法捕捉真实工作场景复杂性等系统性局限

1

来源数

50%

置信度

长期有效

时效性

2026/7/12

首次发现

来源

GPT-5.6实测对比：便宜20倍但创意能力输给旗舰模型

bilibili小牛AI_XNAI2026/7/10

相关事实

待验证AI 基准测试普遍面临污染问题，模型训练数据可能包含测试题目导致分数虚高，单一基准横向比较价值有限76% 相似已验证提示词无法突破AI本身的能力上限，如训练数据时间节点之外的信息或内置能力不支持的复杂推导73% 相似待验证古德哈特定律指出当一个指标成为目标本身它就不再是好指标，测试集引入训练数据会导致模型考试成绩与真实能力脱钩71% 相似待验证有质疑者认为训练数据的规模是决定AI生成质量的关键因素，语言简洁性未必是决定性因素70% 相似待验证代码审查类任务更难通过突击训练取巧，比算法题更能反映候选人长期积累的工程素养70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/492237

API

curl https://kongchang.com/api/v1/knowledge/claims/492237

MCP

get_claim(id=492237)