MATH
MATH是一个用于评估机器学习模型数学推理能力的基准数据集，由Hendrycks等人构建，包含来自高中数学竞赛的数千道题目，涵盖代数、几何、数论、概率等多个数学领域，并按难度分级。每道题目要求模型给出完整的解题过程与最终答案，是衡量大语言模型在复杂数学推理与问题求解能力方面的重要评测标准。
Core Facts
Timeline (last 90 days)
部分大型语言模型已能在MATH、AIME等竞赛级题库中取得超过80%的正确率
实验表明PRM训练的模型在MATH基准上的准确率显著优于结果奖励模型（ORM）
大语言模型在GSM8K、MATH等数学基准测试上的得分率从最初不到50%提升至90%以上
当前AI领域广泛使用的benchmark包括代码能力的HumanEval、MBPP,数学推理的GSM8K、MATH,以及综合能力的MMLU等
评估大语言模型推理可靠性的系统化基准测试包括GSM8K、MATH竞赛题集和BIG-Bench Hard
OpenAI在2023年论文《Let's Verify Step by Step》中表明过程监督(PRM)在数学推理任务中显著优于结果监督(ORM)
MATH数据集由Hendrycks等人于2021年发布，包含12500道竞赛数学题目并按难度分为5级
The industry has begun shifting toward more challenging benchmarks like GPQA and MATH as older benchmarks lose discriminative power
HumanEval专注代码生成能力，以164道编程题检验模型的逻辑推理与代码正确性
过程奖励模型（PRM）在GSM8K等数学推理基准测试中显著提升了模型的推理准确率
1 more timeline events
All Facts (11)
HumanEval专注代码生成能力，以164道编程题检验模型的逻辑推理与代码正确性
65%UnverifiedThe industry has begun shifting toward more challenging benchmarks like GPQA and MATH as older benchmarks lose discriminative power
80%Unverified部分大型语言模型已能在MATH、AIME等竞赛级题库中取得超过80%的正确率
50%Unverified实验表明PRM训练的模型在MATH基准上的准确率显著优于结果奖励模型（ORM）
50%Unverified大语言模型在GSM8K、MATH等数学基准测试上的得分率从最初不到50%提升至90%以上
50%Unverified当前AI领域广泛使用的benchmark包括代码能力的HumanEval、MBPP,数学推理的GSM8K、MATH,以及综合能力的MMLU等
50%Unverified评估大语言模型推理可靠性的系统化基准测试包括GSM8K、MATH竞赛题集和BIG-Bench Hard
50%UnverifiedOpenAI在2023年论文《Let's Verify Step by Step》中表明过程监督(PRM)在数学推理任务中显著优于结果监督(ORM)
50%UnverifiedMATH数据集由Hendrycks等人于2021年发布，包含12500道竞赛数学题目并按难度分为5级
50%Unverified过程奖励模型（PRM）在GSM8K等数学推理基准测试中显著提升了模型的推理准确率
50%UnverifiedAI模型基准测试分为自动化评估（如HumanEval、MBPP代码通过率测试）和人工评估两大类
50%