基准
MMLU-ProX
MMLU-Pro 的多语言扩展版本,评估大模型在多语言、多任务场景下的综合知识能力
时间轴 (近 90 天)
10月16日
在相同 harness 下对比 BF16 和 NVFP4,WebVoyager 从 77.72 降至 66.31,DeepSWE 从 24.65 降至 18.2,MMLU-ProX 从 76.91 降至 73.76,其他行差距在噪声范围内。
待验证50%
MMLU-Pro 的多语言扩展版本,评估大模型在多语言、多任务场景下的综合知识能力
在相同 harness 下对比 BF16 和 NVFP4,WebVoyager 从 77.72 降至 66.31,DeepSWE 从 24.65 降至 18.2,MMLU-ProX 从 76.91 降至 73.76,其他行差距在噪声范围内。