GPQA
GPQA(Graduate-Level Google-Proof Q&A)是一个面向研究生水平的专业知识问答基准测试,旨在评估大型语言模型在生物学、化学、物理学等自然科学领域的深度推理与专业知识掌握能力。题目由领域专家设计,难度较高,即使借助搜索引擎也难以轻易作答,常被用于衡量模型在专业领域的极限推理表现。
核心事实
时间轴 (近 90 天)
BioBasics Bench 属于领域专项基准测试,与 MMLU、GPQA 等通用评测不同,专门考察模型对日常生物实验资料的阅读理解与分析能力。
专项决策指数与通用 benchmark(如 MMLU、GPQA)不可直接横向比较。
业界逐渐转向更难、更新鲜的基准(如 GPQA、ARC-AGI)以及人工对战式评测(如 LMArena 的 Elo 评分),用多维信号交叉验证,而非依赖单一综合分。
GPQA、MATH 与 ARC-AGI 是推理方向常用的公开基准。
基准测试(benchmark)是用标准化任务和评分方式衡量模型能力的方法,常见公开基准如 MMLU、HumanEval 等。
GSM8K 饱和后,社区转向 MATH(竞赛级数学)、GPQA(研究生级科学问答)以及需要执行代码或调用外部工具的 Agent 类评测。
GPQA 采用多轮专家评审与一致性投票来保证题目质量,每道题至少经过三位领域专家的独立验证与交叉质疑。
Benchmark 是机器学习领域常用的标准化评测集与指标,如 MMLU(多学科知识)、HumanEval(代码生成)、GSM8K(数学推理)等。
Llama、Mistral、Qwen等开源权重模型在MMLU、GPQA等基准上可能落后于GPT-4或Claude等顶级闭源模型几个百分点,但在文献摘要、代码辅助、假设生成、数据清洗等学术研究常见任务上已具备实用价值。
基准测试是验证模型能力的重要参考,常见评测维度包括数学推理、代码生成、科学问答
还有 22 条时间轴事件
全部知识事实 (20)
标准AI基准测试包括MMLU(涵盖57个学科的综合知识测试)、GPQA(研究生级别专业问答)、SWE-bench(真实软件工程任务)、HumanEval和MBPP(编程能力)、MATH和GSM8K(数学推理)
90%已验证基准测试是验证模型能力的重要参考,常见评测维度包括数学推理、代码生成、科学问答
85%已验证AI领域模型能力的可信评估依赖标准化基准测试,常见评测集包括MMLU、HumanEval、MATH、GPQA
80%已验证基准测试(benchmark)是用标准化任务和评分方式衡量模型能力的方法,常见公开基准如 MMLU、HumanEval 等。
75%已验证DeepSeek V4.1 Flash 在 GPQA、HLE 等方面的评分低于此前版本
75%已验证GPQA是专为博士级科学问答设计的基准,题目难度使领域专家也仅能答对约65%
70%已验证Artificial Analysis是一个独立的AI模型基准测试平台,综合编程能力、数学推理、语言理解、知识问答等多个维度评估模型表现
70%已验证Benchmark 是机器学习领域常用的标准化评测集与指标,如 MMLU(多学科知识)、HumanEval(代码生成)、GSM8K(数学推理)等。
65%已验证Artificial Analysis的Intelligence指数是对一系列现有Benchmark(如MMLU、HumanEval、MATH等)做加权平均得到的综合分数
65%已验证Artificial Analysis 等第三方平台会把多个子基准分数标准化后聚合成一个质量指数,使不同模型可在同一刻度上比较
65%已验证GPQA(研究生级别专业问答)专注于需要博士级专业知识的问题
65%已验证Artificial Analysis Intelligence Index整合了MMLU、HumanEval、MATH、GPQA等多个基准测试的加权结果
65%已验证MMLU、GSM8K、HumanEval三大基准均已出现不同程度的污染问题,研究者发现多款主流模型训练数据中存在与测试题高度重叠的内容
65%待验证The industry has begun shifting toward more challenging benchmarks like GPQA and MATH as older benchmarks lose discriminative power
80%待验证GPQA(Graduate-Level Google-Proof Q&A)专注于博士级别的科学推理难题
60%待验证评估本地模型是否适合需求可参考 MMLU、HumanEval 等标准化基准测试分数
60%待验证GPQA是研究生级别科学问答基准,SWE-bench针对软件工程真实任务
60%待验证GPQA由纽约大学研究团队设计,非专业人士使用搜索引擎答题准确率约34%,领域专家平均得分约65%
60%待验证BioBasics Bench 属于领域专项基准测试,与 MMLU、GPQA 等通用评测不同,专门考察模型对日常生物实验资料的阅读理解与分析能力。
50%待验证专项决策指数与通用 benchmark(如 MMLU、GPQA)不可直接横向比较。
50%