待验证50% 置信观点精确时间
HumanEval、MBPP等传统AI基准本质是函数级黑盒测试，无法覆盖多模块协作、状态持久化和构建流程等工程维度
1
来源数
50%
置信度
长期有效
时效性
2026/7/18
首次发现
来源
相关事实
待验证HumanEval、MBPP、SWE-bench是AI编程评测领域的行业标准基准测试70% 相似待验证HumanEval 和 MBPP 主要衡量模型代码生成能力，而代码审查是本质不同的任务，业界目前缺乏标准化的代码审查基准测试68% 相似待验证标准化AI基准测试(如HumanEval、SWE-bench)存在基准过拟合的失真问题66% 相似待验证传统代码评测基准（如HumanEval、MBPP）主要测试模型在孤立函数级别的生成准确率65% 相似待验证通用基准如MMLU、GPQA、HumanEval的测试形式通常是单轮问答或独立任务，无法反映复杂工作流中的持续推理和工具协调能力65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/554780API
curl https://kongchang.com/api/v1/knowledge/claims/554780MCP
get_claim(id=554780)