HumanEval
OpenAI发布的代码生成能力基准测试，用于评估模型根据函数签名和文档字符串生成正确代码的能力
核心事实
时间轴 (近 90 天)
公开基准（如 MMLU、HumanEval）的题目和答案通常公开可查，模型团队可以针对性地在训练数据中覆盖相似题目，从而在榜单上取得虚高分数，即「刷榜」。
与通用代码生成基准（如 HumanEval、SWE-bench）相比，CursorBench 的特点是贴近实际编辑器工作流且把成本作为一等指标纳入报告。
与仅考察功能正确性的基准（如HumanEval）不同，EffiBench要求模型在通过测试用例的同时尽量逼近参考解的资源消耗水平。
MMLU、GSM8K、HumanEval、C-Eval是常见的大模型基准测试集合，分别侧重多学科知识、小学数学推理、代码生成和中文综合能力。
扩展词表的模型在 HumanEval 上的通过率从 45.7% 提升到 52.4%。
代码生成基准测试（如HumanEval）的分数已接近饱和。
传统单元测试基准如 HumanEval、MBPP 与鲁棒性评测不同，后者需要构造对抗性输入（混乱命名、职责混杂、注释与实现不符等）。
Benchmark 是机器学习领域常用的标准化评测集与指标，如 MMLU（多学科知识）、HumanEval（代码生成）、GSM8K（数学推理）等。
在HumanEval上，Keera预训练模型pass@1为3/164（1.8%），微调后为9/164（5.5%）。
作者明确标注HumanEval结果存在局限：未检查数据污染、预训练与微调评估设置不同（非受控测量）、保存的微调逐题结果文件含NUL字节不完整。
还有 40 条时间轴事件
全部知识事实 (20)
MMLU评估模型在57个学科领域的知识广度，HumanEval测量代码生成正确率，GSM8K考察数学推理，HELM构建综合多维评估框架
90%已验证HumanEval由OpenAI发布，包含164个手工编写的Python编程问题，以pass@k为核心指标
90%已验证HumanEval由OpenAI于2021年提出，考察函数级代码补全
90%已验证HumanEval由OpenAI提出，包含164道Python编程题，主要测试函数级别的代码生成能力
90%已验证基准测试是验证模型能力的重要参考，常见评测维度包括数学推理、代码生成、科学问答
85%已验证DeepSWE系列基准用于衡量模型在真实软件工程场景中的自主端到端工程能力
85%已验证基准污染是指测试题目可能已出现在训练数据中，导致高分不能真正代表泛化能力
85%已验证HumanEval由OpenAI自研，专门测试代码生成的功能正确率
85%已验证标准AI基准测试包括MMLU（涵盖57个学科的综合知识测试）、GPQA（研究生级别专业问答）、SWE-bench（真实软件工程任务）、HumanEval和MBPP（编程能力）、MATH和GSM8K（数学推理）
85%已验证MMLU包含57个学科领域约1.5万道选择题，HumanEval由OpenAI设计包含164道Python编程题，MATH包含12,500道竞赛数学题，GPQA收录研究生级别科学问题
80%已验证AI领域模型能力的可信评估依赖标准化基准测试，常见评测集包括MMLU、HumanEval、MATH、GPQA
80%已验证代码生成模型在HumanEval等基准测试中的通过率从60%跃升至90%以上（2024-2025年间）
80%已验证在MMLU、HumanEval、GSM8K等主流评测中，头部大模型的得分差距往往只有几个百分点
80%已验证HumanEval是由OpenAI于2021年发布的代码生成基准测试，包含164个手写的Python编程问题
80%已验证大语言模型通过在数千亿乃至数万亿个词元（Token）的文本数据上进行自监督预训练
80%已验证评估编程大模型的主流基准包括HumanEval、MBPP、SWE-bench和LiveCodeBench
80%已验证Claude 3.5 Sonnet是Anthropic于2024年推出的模型，在代码生成基准测试HumanEval上超越了同期GPT-4o
80%已验证主流基准测试如MMLU、HumanEval、GSM8K设计之初主要面向学术比较，侧重测量模型在封闭题目上的准确率
75%已验证到2024年中，顶级模型在MMLU上的分数已普遍超过85-90%，该基准的区分度急剧下降
75%已验证GPT-4和Claude 3在HumanEval代码基准测试上的pass@1通过率超过85%
75%