基准MATH500
MATH500
一个包含500道数学竞赛题的评测基准，常用于评估大语言模型的数学推理能力
时间轴 (近 90 天)
10月26日
J-Comm 在 MATH500 上达到 94.80%，在 GPQA-Diamond 上达到 54.55%，在 AIME2024+2025 上达到 73.33%，在 ALFWorld 上达到 62.93% 成功率。
待验证50%
10月2日
实验在Qwen2.5-7B-Instruct上进行，使用Math-Shepherd作为PRM，在MATH500数据集（n=500，三个随机种子）上测试
待验证50%