待验证50% 置信基准精确时间

在HumanEval等专业代码基准测试中，顶尖模型的表现已接近甚至超越人类平均水平

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/18

首次发现

有效期至：2026/10/16

来源

Vibe Coding实践：AI辅助创作如何让个人作品成为可能

相关事实

待验证GLM5.1等国产模型在HumanEval、MBPP等标准编程基准测试上的得分已接近甚至超越部分国际竞品72% 相似已验证代码生成模型在HumanEval等基准测试中的通过率从60%跃升至90%以上（2024-2025年间）69% 相似待验证模型在标准化评测基准（如HumanEval、MMLU）上的高分表现与真实工作场景中的可靠性之间存在显著差距68% 相似待验证基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期68% 相似待验证工作样本测试在工业组织心理学中被证明具有最高的预测效度，相关系数r=0.5466% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/549438

API

curl https://kongchang.com/api/v1/knowledge/claims/549438

MCP

get_claim(id=549438)