Unverified50% confidenceFactExact time
AI基准测试存在训练数据污染、过度优化特定指标（Goodhart定律效应）以及无法捕捉真实工作场景复杂性等系统性局限
1
Sources
50%
Confidence
Long-term
Relevance
7/12/2026
First Seen
Sources
GPT-5.6实测对比：便宜20倍但创意能力输给旗舰模型
bilibili小牛AI_XNAI7/10/2026
Related Claims
UnverifiedAI 基准测试普遍面临污染问题，模型训练数据可能包含测试题目导致分数虚高，单一基准横向比较价值有限76% similarVerified提示词无法突破AI本身的能力上限，如训练数据时间节点之外的信息或内置能力不支持的复杂推导73% similarUnverified古德哈特定律指出当一个指标成为目标本身它就不再是好指标，测试集引入训练数据会导致模型考试成绩与真实能力脱钩71% similarUnverified有质疑者认为训练数据的规模是决定AI生成质量的关键因素，语言简洁性未必是决定性因素70% similarUnverified代码审查类任务更难通过突击训练取巧，比算法题更能反映候选人长期积累的工程素养70% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/492237API
curl https://kongchang.com/api/v1/knowledge/claims/492237MCP
get_claim(id=492237)