GPQA Diamond
GPQA Diamond是一个面向研究生级别专业知识的问答基准测试，属于GPQA（Graduate-Level Google-Proof Q&A）系列中难度最高的子集。该基准涵盖生物学、化学、物理学等自然科学领域，题目由领域专家设计，旨在评估大型语言模型在高难度专业推理任务上的能力，是衡量前沿AI模型科学理解水平的重要参考标准之一。
时间轴 (近 90 天)
DeepSeek 未公布 V4.1 Flash 1017 在 GPQA Diamond 上的分数；Pro 0813 在该项得分为 92.4，九月版 Flash 为 90.9
GPQA Diamond是GPQA中难度最高、筛选最严的子集，共198道题，由物理、化学、生物领域的博士级出题者撰写，设计目标是即便允许使用搜索引擎非专家也难以在短时间内答对。
GPQA Diamond榜单前五名：Darwin-180B-RSI 94.4%（180B）、Kimi-K3 93.5%（2.8T）、Darwin-397B-ZTC 93.4%（404B）、Ornith-1.5-397B 92.8%（403B）、Qwen3.8-2.4T-A95B 92.6%（2.4T）。
截至2026年10月19日，Darwin-180B-RSI在AIhoster榜单的MMLU-Pro上以88.1%排名第一，在GPQA Diamond上以94.4%排名第一。
Dory 在 AA-Omniscience 基准上从 1 次循环到 4 次循环得分几乎不变（10.03、10.08、10.03），在 GPQA Diamond 和 HLE 上均落后于 Qwen3.5-4B。
GPQA Diamond子集共198题，在95%置信区间下单次采样标准误约为2个百分点，因此0.7点的差值在噪声范围内。
NVIDIA FP4版Qwen3.8在GPQA Diamond上精度为91.5%，BF16基线为92.2%，两者相差0.7个百分点。
GPQA Diamond、MMLU-Pro、Humanity's Last Exam、SWE-bench Verified、Terminal-Bench、MMMU-Pro、LEXam、Open ASR Leaderboard 都属于 Hugging Face 官方标记的 official benchmark。
RSI推理引擎在GPQA Diamond科学推理基准上，在500B参数量以下模型中排名第1。
VIDRAFT 在 GPQA Diamond 的 500B 参数以下类别中达到 93.43%
还有 10 条时间轴事件
全部知识事实 (17)
GPQA Diamond测试题目来自生物学、化学、物理学等领域的博士级别知识，领域专家平均正确率约65%
85%待验证GPQA Diamond由纽约大学研究团队构建，人类专家（博士生）的平均正确率约为65%，非专业人类约为34%
85%待验证Qwen3.8-27B在Terminal Bench、GPQA Diamond、HLE测试中均落后于Claude Opus 4.6（分别为73 vs 78.2、89.2 vs 91.3、30.8 vs 40）
60%待验证DeepSeek 未公布 V4.1 Flash 1017 在 GPQA Diamond 上的分数；Pro 0813 在该项得分为 92.4，九月版 Flash 为 90.9
50%待验证GPQA Diamond榜单前五名：Darwin-180B-RSI 94.4%（180B）、Kimi-K3 93.5%（2.8T）、Darwin-397B-ZTC 93.4%（404B）、Ornith-1.5-397B 92.8%（403B）、Qwen3.8-2.4T-A95B 92.6%（2.4T）。
50%待验证GPQA Diamond是GPQA中难度最高、筛选最严的子集，共198道题，由物理、化学、生物领域的博士级出题者撰写，设计目标是即便允许使用搜索引擎非专家也难以在短时间内答对。
50%待验证截至2026年10月19日，Darwin-180B-RSI在AIhoster榜单的MMLU-Pro上以88.1%排名第一，在GPQA Diamond上以94.4%排名第一。
50%待验证Dory 在 AA-Omniscience 基准上从 1 次循环到 4 次循环得分几乎不变（10.03、10.08、10.03），在 GPQA Diamond 和 HLE 上均落后于 Qwen3.5-4B。
50%待验证NVIDIA FP4版Qwen3.8在GPQA Diamond上精度为91.5%，BF16基线为92.2%，两者相差0.7个百分点。
50%待验证GPQA Diamond子集共198题，在95%置信区间下单次采样标准误约为2个百分点，因此0.7点的差值在噪声范围内。
50%待验证GPQA Diamond、MMLU-Pro、Humanity's Last Exam、SWE-bench Verified、Terminal-Bench、MMMU-Pro、LEXam、Open ASR Leaderboard 都属于 Hugging Face 官方标记的 official benchmark。
50%待验证GPQA Diamond是针对博士级科学知识的多项选择题集，覆盖生物、化学、物理，领域专家平均正确率约65%
50%待验证在全部 38 项基准中，Aplomb 1 在 8 项上拿到 5.3B 以内模型最高分，包括 MMLU-Pro、GPQA Diamond 和 BBH
50%待验证IQ3S档位在GPQA Diamond上得92.93（BF16基线91.92），LiveCodeBench V6为86.86（对比87.43），三项任务平均93.26对93.12，体积不到BF16的四分之一（约22%）
50%待验证评测覆盖MMLU-Pro、GPQA Diamond、GSM8K、德语MGSM和IFEval五个基准
50%待验证GPQA Diamond是测试研究生级别科学推理能力的基准，普通人类表现约35%，顶级闭源模型在60-75%区间
50%待验证NVFP4版Qwen3-27B在MMLU Pro和GPQA Diamond基准上相较未压缩FP16仅有微弱损失
50%