基准
GPQA Diamond
GPQA Diamond是一个面向研究生级别专业知识的问答基准测试,属于GPQA(Graduate-Level Google-Proof Q&A)系列中难度最高的子集。该基准涵盖生物学、化学、物理学等自然科学领域,题目由领域专家设计,旨在评估大型语言模型在高难度专业推理任务上的能力,是衡量前沿AI模型科学理解水平的重要参考标准之一。
时间轴 (近 90 天)
9月11日
NVFP4版Qwen3-27B在MMLU Pro和GPQA Diamond基准上相较未压缩FP16仅有微弱损失
待验证50%
9月3日
Qwen3.8-27B在Terminal Bench、GPQA Diamond、HLE测试中均落后于Claude Opus 4.6(分别为73 vs 78.2、89.2 vs 91.3、30.8 vs 40)
待验证50%