数学推理
大模型在数学问题求解中展现的推理能力,涵盖算术、代数、几何等,是评估大模型推理能力的核心任务领域之一
核心事实
时间轴 (近 90 天)
在数学与代码推理中,过程奖励建模已被证明能有效识别无效中间步骤并引导模型自我纠错。
在数学推理任务上,SH-OPD 在约 45% 的单次更新成本下取得了略高于基线的数学推理准确率。
论文报告称,RDS-MOPD 在数学推理、代码生成和指令遵循三类基准上,多数指标排名第一,优于近期同类方法。
在数学题上测试,16位精度模型正确率为77.6,4位为77.4,3位掉到68.3。
StepBack在七个数学推理和多跳问答(multi-hop QA)基准上进行了评估,结果显示平均准确率与自洽性方法相当,token使用量最多降低41.26%。
KAPPO 的实验覆盖了数学推理与代码生成两类任务,结果显示它提供了对锐化程度的直接控制能力。
经过监督微调(SFT)后,UpLoop带来的增益还能延伸到数学推理任务。
在Qwen3模型上针对数学推理任务的实验显示,MTA-OPSD一致优于现有的OPSD方法,相对基座模型的平均增益最高达到+5.9。
数学推理是长序列蒸馏的典型场景,因为解题过程往往需要数十步推导,学生很容易在中途偏离教师路径。
数学问题往往有明确的对错标准,是衡量模型能力的理想基准
还有 1 条时间轴事件
全部知识事实 (11)
仅凭基准分数难以判断模型是否真正掌握数学推理能力,需要领域专家对解题过程逐步核查
75%待验证在数学与代码推理中,过程奖励建模已被证明能有效识别无效中间步骤并引导模型自我纠错。
50%待验证在数学推理任务上,SH-OPD 在约 45% 的单次更新成本下取得了略高于基线的数学推理准确率。
50%待验证论文报告称,RDS-MOPD 在数学推理、代码生成和指令遵循三类基准上,多数指标排名第一,优于近期同类方法。
50%待验证在数学题上测试,16位精度模型正确率为77.6,4位为77.4,3位掉到68.3。
50%待验证StepBack在七个数学推理和多跳问答(multi-hop QA)基准上进行了评估,结果显示平均准确率与自洽性方法相当,token使用量最多降低41.26%。
50%待验证KAPPO 的实验覆盖了数学推理与代码生成两类任务,结果显示它提供了对锐化程度的直接控制能力。
50%待验证经过监督微调(SFT)后,UpLoop带来的增益还能延伸到数学推理任务。
50%待验证在Qwen3模型上针对数学推理任务的实验显示,MTA-OPSD一致优于现有的OPSD方法,相对基座模型的平均增益最高达到+5.9。
50%待验证数学推理是长序列蒸馏的典型场景,因为解题过程往往需要数十步推导,学生很容易在中途偏离教师路径。
50%待验证数学问题往往有明确的对错标准,是衡量模型能力的理想基准
50%