基准MBPP Plus
MBPP+
MBPP的增强版本,用于评估大语言模型在Python代码生成任务上的能力,包含更严格的测试用例和更全面的功能覆盖
时间轴 (近 90 天)
10月12日
Saluki在MBPP+取得78.0分,多步因果逻辑67.5分,AIME取得80.0分,保留原版82%~85%的数学推理能力
待验证50%
MBPP的增强版本,用于评估大语言模型在Python代码生成任务上的能力,包含更严格的测试用例和更全面的功能覆盖
Saluki在MBPP+取得78.0分,多步因果逻辑67.5分,AIME取得80.0分,保留原版82%~85%的数学推理能力