MATH
MATH是一个用于评估机器学习模型数学推理能力的基准数据集，由Hendrycks等人构建，包含来自高中数学竞赛的数千道题目，涵盖代数、几何、数论、概率等多个数学领域，并按难度分级。每道题目要求模型给出完整的解题过程与最终答案，是衡量大语言模型在复杂数学推理与问题求解能力方面的重要评测标准。
核心事实
时间轴 (近 90 天)
Artificial Analysis的Intelligence指数是对一系列现有Benchmark（如MMLU、HumanEval、MATH等）做加权平均得到的综合分数
性价比曲线通常以MMLU、MATH、HumanEval等基准得分为纵轴、每百万token成本为横轴，是Artificial Analysis、LMSys等第三方评测平台常用的可视化工具
开源社区常用的benchmark（如MMLU、HumanEval、MATH、LongBench等）存在数据污染风险
DeepSeek-R1在MATH、HumanEval等标准化基准测试中接近甚至持平GPT-4级别的表现
主流大模型基准如MMLU、BigBench、MATH均已被广泛用于模型训练数据筛选与强化学习奖励信号设计，导致高分越来越难映射到真实能力提升
评估大语言模型能力常用的基准测试包括 MMLU、HumanEval、MATH 和 GPQA
常见公开基准如MMLU侧重多学科问答、HumanEval侧重代码生成、MATH侧重数学推理，各自侧重不同维度
垂直基准包括HumanEval/MBPP（代码）、MATH/GSM8K（数学推理）、MMLU（多学科知识）
GPT-4o、o1、o3 系列在特定基准测试（如 MATH、HumanEval、MMLU）上持续刷新纪录，但许多开发者日常使用中难以感知同等幅度的提升
DeepSeek-Math 7B是7B参数的开源数学大模型，其RL版本加工具调用在MATH基准上能达到约60%准确率，接近GPT-4水平
还有 16 条时间轴事件
全部知识事实 (20)
标准AI基准测试包括MMLU（涵盖57个学科的综合知识测试）、GPQA（研究生级别专业问答）、SWE-bench（真实软件工程任务）、HumanEval和MBPP（编程能力）、MATH和GSM8K（数学推理）
85%已验证HumanEval专注代码生成能力，以164道编程题检验模型的逻辑推理与代码正确性
85%已验证部分模型存在针对测试集过度优化的风险，导致榜单分数与真实场景表现出现偏差（Benchmark饱和）
70%已验证业界常用的AI评测包括MMLU（大规模多任务语言理解）、HumanEval（代码生成）、GSM8K（数学推理）等，但每个基准只能衡量特定维度的能力
65%已验证Artificial Analysis Intelligence Index整合了MMLU、HumanEval、MATH、GPQA等多个基准测试的加权结果
65%已验证MMLU、HumanEval、MATH等基准测试用于量化模型能力差异
65%已验证MMLU、HumanEval、MT-Bench是AI社区广泛认可的标准化基准测试集
65%待验证The industry has begun shifting toward more challenging benchmarks like GPQA and MATH as older benchmarks lose discriminative power
80%待验证OpenAI在2023年论文《Let's Verify Step by Step》中表明过程监督(PRM)在数学推理任务中显著优于结果监督(ORM)
70%部分验证GSM8K是小学数学推理基准，HumanEval是代码生成基准，HellaSwag是常识推理基准
65%待验证基准测试分数与实际应用效果之间往往存在显著差距，MMLU得分略低的模型可能在特定垂直领域表现更好
60%待验证Artificial Analysis的Intelligence指数是对一系列现有Benchmark（如MMLU、HumanEval、MATH等）做加权平均得到的综合分数
50%待验证性价比曲线通常以MMLU、MATH、HumanEval等基准得分为纵轴、每百万token成本为横轴，是Artificial Analysis、LMSys等第三方评测平台常用的可视化工具
50%待验证开源社区常用的benchmark（如MMLU、HumanEval、MATH、LongBench等）存在数据污染风险
50%待验证DeepSeek-R1在MATH、HumanEval等标准化基准测试中接近甚至持平GPT-4级别的表现
50%待验证主流大模型基准如MMLU、BigBench、MATH均已被广泛用于模型训练数据筛选与强化学习奖励信号设计，导致高分越来越难映射到真实能力提升
50%待验证评估大语言模型能力常用的基准测试包括 MMLU、HumanEval、MATH 和 GPQA
50%待验证常见公开基准如MMLU侧重多学科问答、HumanEval侧重代码生成、MATH侧重数学推理，各自侧重不同维度
50%待验证垂直基准包括HumanEval/MBPP（代码）、MATH/GSM8K（数学推理）、MMLU（多学科知识）
50%待验证GPT-4o、o1、o3 系列在特定基准测试（如 MATH、HumanEval、MMLU）上持续刷新纪录，但许多开发者日常使用中难以感知同等幅度的提升
50%