Unverified50% confidenceFactExact time
AI 基准测试普遍面临污染问题，模型训练数据可能包含测试题目导致分数虚高，单一基准横向比较价值有限
1
Sources
50%
Confidence
Long-term
Relevance
7/21/2026
First Seen
Sources
Related Claims
Unverified训练集污染是当前AI基准评测领域的核心争议，模型可能通过记忆而非推理答题导致结果虚高81% similarUnverifiedAI红队测试面临涌现能力的特殊挑战，模型在特定提示词组合下可能展现训练时未被预期的能力，使穷举式测试几乎不可能实现77% similarUnverifiedAI基准测试存在训练数据污染、过度优化特定指标（Goodhart定律效应）以及无法捕捉真实工作场景复杂性等系统性局限76% similarUnverified基准过拟合和数据污染是AI评测领域的核心争议，模型可能通过记忆而非真正理解获得高分76% similarUnverifiedAI执行测试用例的最大软肋是不确定性，同一条用例有时跑通有时跑不了75% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/580895API
curl https://kongchang.com/api/v1/knowledge/claims/580895MCP
get_claim(id=580895)