待验证50% 置信观点精确时间
社区基准测试可能无意触发安全分类器，导致实际测试的是被路由的Opus 4.8而非目标模型
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/7/23
首次发现
有效期至：2026/10/21
来源
相关事实
待验证标准化AI基准测试(如HumanEval、SWE-bench)存在基准过拟合的失真问题72% 相似待验证主流基准测试如MMLU、HumanEval、SWE-bench通常仅覆盖数千至数万个标准化问题，存在场景覆盖有限和训练数据污染的潜在风险67% 相似待验证为应对测试环境应试化，研究者建议引入模型无法预知的隐藏测试、动态评估、活基准（live benchmark）等方法66% 相似待验证Evals通过构建基准测试集、使用LLM-as-Judge等方法对概率性AI系统进行统计意义上的质量保障，填补了传统确定性测试框架的空白66% 相似待验证当前AI模型评测主要依赖标准化基准测试（如MMLU、HumanEval、GSM8K等），但存在数据污染风险和与实际应用脱节的问题66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/597304API
curl https://kongchang.com/api/v1/knowledge/claims/597304MCP
get_claim(id=597304)