AIME
AIME(American Invitational Mathematics Examination)是一项面向AI数学推理能力的评测基准,源自美国数学邀请赛题目。该基准通过竞赛级别的数学难题,考察模型在代数、数论、几何、组合等领域的复杂推理与解题能力,题目需要多步骤逻辑推导,是衡量大语言模型高级数学推理水平的重要参考标准之一。
时间轴 (近 90 天)
该模型在AIME与HMMT February竞赛数学集上取得满分
AIME(美国数学邀请赛)是面向高中生的精英数学竞赛,题目以推理步骤多、答案唯一为特点
Saluki在MBPP+取得78.0分,多步因果逻辑67.5分,AIME取得80.0分,保留原版82%~85%的数学推理能力
模型在竞赛数学(如 AIME、IMO)和代码生成(如 Codeforces 竞赛题)上的得分在过去一年间出现近乎垂直的增长曲线
数学推理类评测包括MATH和AIME,考察符号推导与多步骤计算
部分大型语言模型已能在MATH、AIME等竞赛级题库中取得超过80%的正确率
AIME只有30个样本,用少量种子跑出的微小分数差异不具统计显著性
AIME只有30个样本,跑4个种子后以80分对比基线79分并加粗宣称超越,在统计上站不住脚
全部知识事实 (10)
AIME 满分为 150 分(15 题×10 分),已成为衡量 AI 模型数学推理能力的黄金标准之一
90%待验证AIME(美国数学邀请赛)中人类顶尖高中生的平均得分仅在3-5分左右(满分15分)
70%待验证该模型在AIME与HMMT February竞赛数学集上取得满分
50%待验证AIME(美国数学邀请赛)是面向高中生的精英数学竞赛,题目以推理步骤多、答案唯一为特点
50%待验证Saluki在MBPP+取得78.0分,多步因果逻辑67.5分,AIME取得80.0分,保留原版82%~85%的数学推理能力
50%待验证模型在竞赛数学(如 AIME、IMO)和代码生成(如 Codeforces 竞赛题)上的得分在过去一年间出现近乎垂直的增长曲线
50%待验证数学推理类评测包括MATH和AIME,考察符号推导与多步骤计算
50%待验证部分大型语言模型已能在MATH、AIME等竞赛级题库中取得超过80%的正确率
50%待验证AIME只有30个样本,用少量种子跑出的微小分数差异不具统计显著性
50%待验证AIME只有30个样本,跑4个种子后以80分对比基线79分并加粗宣称超越,在统计上站不住脚
50%