基准MMLU
MMLU Pro
MMLU Pro(Massive Multitask Language Understanding Pro)是一个大规模多任务语言理解基准测试,是原版MMLU的增强版本。该基准涵盖数学、科学、工程、法律、人文等多个学科领域,通过更具挑战性的多项选择题评估大型语言模型的综合知识理解与推理能力。相较于原版MMLU,其题目难度更高、选项更多,旨在更精准地区分顶尖语言模型的性能差异。
时间轴 (近 90 天)
9月11日
在MMLU Pro测试中,8bit以60.6%略胜OQ4E的59.9%
待验证50%
9月11日
NVFP4版Qwen3-27B在MMLU Pro和GPQA Diamond基准上相较未压缩FP16仅有微弱损失
待验证50%