已验证65% 置信事实精确时间
训练数据污染是AI编程基准测试面临的首要挑战，测试用例来自公开GitHub仓库而这些正是大模型预训练语料来源
3
来源数
65%
置信度
长期有效
时效性
2026/7/10
首次发现
来源
OpenAI弃用SWE-Bench Pro：AI编程评测的信任危机与未来走向
hackernewshackernews2026/7/8
相关事实
待验证基于开源代码库的评测存在数据污染问题，因为这些代码库可能已被纳入大模型的训练数据79% 相似已验证专用编程模型的训练数据来源包括GitHub开源代码、编程竞赛题解、技术文档、代码审查记录等，并针对HumanEval、MBPP、SWE-bench等基准测试进行优化77% 相似待验证数据污染问题源于LLM预训练语料来自Common Crawl等大规模网络爬取，可能包含公开的基准测试题目及答案75% 相似待验证评判AI的科学发现能力需要设置真正的保留测试、对照传统自动化方法、并正视训练数据污染与先验知识干扰74% 相似待验证benchmark优化存在训练数据污染问题,许多模型通过'见过'测试题来提升分数73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/465779API
curl https://kongchang.com/api/v1/knowledge/claims/465779MCP
get_claim(id=465779)