待验证60% 置信观点精确时间

官方基准测试如MMLU、HumanEval存在测试集泄露和针对性优化的风险

2

来源数

60%

置信度

长期有效

时效性

2026/7/20

首次发现

来源

GPT-5.6 Codex三模型实测：Sol/Terra/Luna糖果逻辑题横评

相关事实

待验证主流基准测试如MMLU、HumanEval、SWE-bench通常仅覆盖数千至数万个标准化问题，存在场景覆盖有限和训练数据污染的潜在风险81% 相似待验证公开基准测试（如MMLU、HumanEval、HellaSwag）衡量的是模型在标准化题目上的表现，与具体业务场景往往存在巨大差距78% 相似待验证当前AI模型评测主要依赖标准化基准测试（如MMLU、HumanEval、GSM8K等），但存在数据污染风险和与实际应用脱节的问题78% 相似待验证数据泄露测试应采用对抗性测试思路，主动构造各类边缘调用场景以验证敏感数据是否意外暴露给不可信下游端点77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/573194

API

curl https://kongchang.com/api/v1/knowledge/claims/573194

MCP

get_claim(id=573194)