待验证50% 置信事实精确时间
传统单元测试基准如 HumanEval、MBPP 与鲁棒性评测不同，后者需要构造对抗性输入（混乱命名、职责混杂、注释与实现不符等）。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
涉及实体
相关事实
待验证当前主流基准测试体系如HumanEval、MBPP等代码评估集往往关注平均性能，对分布式的场景特定退化现象敏感度不足76% 相似待验证传统代码评测基准（如HumanEval、MBPP）主要测试模型在孤立函数级别的生成准确率75% 相似待验证标准化AI基准测试(如HumanEval、SWE-bench)存在基准过拟合的失真问题74% 相似待验证特征化测试（characterization test）比较的是字节级输出，任何与业务逻辑无关的变化（时间戳、随机 ID、容器迭代顺序）都会被误判为回归。74% 相似待验证差分测试（对照测试）构造仅在所属章节等单一维度不同的输入对，断言系统给出不同答案，比普通问答准确率测试更能暴露检索层面的系统性缺陷73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1077159API
curl https://kongchang.com/api/v1/knowledge/claims/1077159MCP
get_claim(id=1077159)