Unverified50% confidenceOpinionExact time
官方基准测试如MMLU、HumanEval存在测试集泄露和针对性优化的风险
1
Sources
50%
Confidence
Long-term
Relevance
7/20/2026
First Seen
Sources
Related Claims
Unverified主流基准测试如MMLU、HumanEval、SWE-bench通常仅覆盖数千至数万个标准化问题，存在场景覆盖有限和训练数据污染的潜在风险81% similarUnverified当前AI模型评测主要依赖标准化基准测试（如MMLU、HumanEval、GSM8K等），但存在数据污染风险和与实际应用脱节的问题78% similarUnverified第三方独立基准测试（如MMLU、HumanEval、MATH、LMSYS Chatbot Arena）评测流程公开、结果可复现，比厂商内部评测更具公信力72% similarVerifiedAI领域模型能力的可信评估依赖标准化基准测试，常见评测集包括MMLU、HumanEval、MATH、GPQA71% similarUnverified当前主流基准测试体系如HumanEval、MBPP等代码评估集往往关注平均性能，对分布式的场景特定退化现象敏感度不足71% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/573194API
curl https://kongchang.com/api/v1/knowledge/claims/573194MCP
get_claim(id=573194)