MBPP
MBPP（Mostly Basic Python Problems）是一个用于评估代码生成能力的Python编程基准测试集，由Google Research发布。该基准包含数百道面向入门至中级难度的Python编程题目，每道题目配有自然语言描述、参考代码解答及测试用例，主要用于衡量大语言模型在理解编程需求并生成正确Python代码方面的能力，是代码生成领域常用的标准评测基准之一。
核心事实
时间轴 (近 90 天)
在 LLaDA 和 Dream 模型上，于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估，dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
在 MBPP（Evalplus 版本）上，扩展词表模型的得分从 65.3% 略微下降到 64.6%。
传统单元测试基准如 HumanEval、MBPP 与鲁棒性评测不同，后者需要构造对抗性输入（混乱命名、职责混杂、注释与实现不符等）。
作者在HumanEval和MBPP两个代码生成基准上评测，结果显示基于这些决策规则的实用解码算法和CTD均优于标准温度采样和自适应解码基线。
MBPP（Mostly Basic Programming Problems）与HumanEval思路类似，题目更贴近入门级日常编程，规模约千道。
Parsimony的评估维度与HumanEval、MBPP、SWE-bench等现有基准形成互补而非替代关系。
在 MBPP 上，只有 10 道题匹配到已移除数据，而两次原始数据运行相差 11 题；已发布的 38.9% 最好理解为一次幸运的随机种子，MBPP 上的运行间方差约为 4 分。
去污染后模型在 HumanEval 上为 22.6%，HumanEval+ 上为 21.3%，MBPP 上为 35.0%；相比已发布版，HumanEval 下降 4.3 分，McNemar 检验 p = 0.039。
FrontierCode 相比 HumanEval 或 MBPP 等单函数补全基准更贴近生产环境的复杂度
CursorBench 属于垂直场景评测基准，与 HumanEval、MBPP 等通用代码生成基准不同
还有 12 条时间轴事件
全部知识事实 (20)
MBPP（Mostly Basic Python Problems）由Google发布，包含约1,000个入门级编程问题
80%已验证评估编程大模型的主流基准包括HumanEval、MBPP、SWE-bench和LiveCodeBench
80%已验证代码大语言模型采用HumanEval、MBPP等可执行基准评估，即直接运行生成代码并检验输出是否正确
75%已验证AI 编程领域最受认可的评测基准包括 HumanEval（测试从函数文档字符串生成正确实现）和 SWE-bench（在真实 GitHub 仓库中定位并修复实际 issue）
65%已验证专用编程模型的训练数据来源包括GitHub开源代码、编程竞赛题解、技术文档、代码审查记录等，并针对HumanEval、MBPP、SWE-bench等基准测试进行优化
65%待验证HumanEval等传统代码评测基准通常只要求模型根据函数签名和文档字符串生成独立函数，本质上是受限的代码补全任务
90%待验证Codex模型的评估通常使用HumanEval和MBPP等编码基准测试
85%待验证HumanEval 和 MBPP 主要衡量模型代码生成能力，而代码审查是本质不同的任务，业界目前缺乏标准化的代码审查基准测试
60%待验证在 LLaDA 和 Dream 模型上，于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估，dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
50%待验证在 MBPP（Evalplus 版本）上，扩展词表模型的得分从 65.3% 略微下降到 64.6%。
50%待验证传统单元测试基准如 HumanEval、MBPP 与鲁棒性评测不同，后者需要构造对抗性输入（混乱命名、职责混杂、注释与实现不符等）。
50%待验证作者在HumanEval和MBPP两个代码生成基准上评测，结果显示基于这些决策规则的实用解码算法和CTD均优于标准温度采样和自适应解码基线。
50%待验证Parsimony的评估维度与HumanEval、MBPP、SWE-bench等现有基准形成互补而非替代关系。
50%待验证MBPP（Mostly Basic Programming Problems）与HumanEval思路类似，题目更贴近入门级日常编程，规模约千道。
50%待验证在 MBPP 上，只有 10 道题匹配到已移除数据，而两次原始数据运行相差 11 题；已发布的 38.9% 最好理解为一次幸运的随机种子，MBPP 上的运行间方差约为 4 分。
50%待验证去污染后模型在 HumanEval 上为 22.6%，HumanEval+ 上为 21.3%，MBPP 上为 35.0%；相比已发布版，HumanEval 下降 4.3 分，McNemar 检验 p = 0.039。
50%待验证FrontierCode 相比 HumanEval 或 MBPP 等单函数补全基准更贴近生产环境的复杂度
50%待验证CursorBench 属于垂直场景评测基准，与 HumanEval、MBPP 等通用代码生成基准不同
50%待验证垂直基准包括HumanEval/MBPP（代码）、MATH/GSM8K（数学推理）、MMLU（多学科知识）
50%待验证pass@k 指标在 HumanEval、MBPP 等标准测试集上被广泛采用
50%