[控场AI]
基准

GPQA

GPQA(Graduate-Level Google-Proof Q&A)是一个面向研究生水平的专业知识问答基准测试,旨在评估大型语言模型在生物学、化学、物理学等自然科学领域的深度推理与专业知识掌握能力。题目由领域专家设计,难度较高,即使借助搜索引擎也难以轻易作答,常被用于衡量模型在专业领域的极限推理表现。

核心事实

时间轴 (近 90 天)

11月18日

BioBasics Bench 属于领域专项基准测试,与 MMLU、GPQA 等通用评测不同,专门考察模型对日常生物实验资料的阅读理解与分析能力。

待验证50%
11月17日

专项决策指数与通用 benchmark(如 MMLU、GPQA)不可直接横向比较。

待验证50%
11月9日

业界逐渐转向更难、更新鲜的基准(如 GPQA、ARC-AGI)以及人工对战式评测(如 LMArena 的 Elo 评分),用多维信号交叉验证,而非依赖单一综合分。

待验证50%
11月9日

GPQA、MATH 与 ARC-AGI 是推理方向常用的公开基准。

待验证50%
11月2日

基准测试(benchmark)是用标准化任务和评分方式衡量模型能力的方法,常见公开基准如 MMLU、HumanEval 等。

已验证75%
10月29日

GSM8K 饱和后,社区转向 MATH(竞赛级数学)、GPQA(研究生级科学问答)以及需要执行代码或调用外部工具的 Agent 类评测。

待验证50%
10月24日

GPQA 采用多轮专家评审与一致性投票来保证题目质量,每道题至少经过三位领域专家的独立验证与交叉质疑。

待验证50%
10月19日

Benchmark 是机器学习领域常用的标准化评测集与指标,如 MMLU(多学科知识)、HumanEval(代码生成)、GSM8K(数学推理)等。

已验证65%
10月16日

Llama、Mistral、Qwen等开源权重模型在MMLU、GPQA等基准上可能落后于GPT-4或Claude等顶级闭源模型几个百分点,但在文献摘要、代码辅助、假设生成、数据清洗等学术研究常见任务上已具备实用价值。

待验证50%
10月13日

基准测试是验证模型能力的重要参考,常见评测维度包括数学推理、代码生成、科学问答

已验证85%

还有 22 条时间轴事件

全部知识事实 (20)

已验证

标准AI基准测试包括MMLU(涵盖57个学科的综合知识测试)、GPQA(研究生级别专业问答)、SWE-bench(真实软件工程任务)、HumanEval和MBPP(编程能力)、MATH和GSM8K(数学推理)

90%
已验证

基准测试是验证模型能力的重要参考,常见评测维度包括数学推理、代码生成、科学问答

85%
已验证

AI领域模型能力的可信评估依赖标准化基准测试,常见评测集包括MMLU、HumanEval、MATH、GPQA

80%
已验证

基准测试(benchmark)是用标准化任务和评分方式衡量模型能力的方法,常见公开基准如 MMLU、HumanEval 等。

75%
已验证

DeepSeek V4.1 Flash 在 GPQA、HLE 等方面的评分低于此前版本

75%
已验证

GPQA是专为博士级科学问答设计的基准,题目难度使领域专家也仅能答对约65%

70%
已验证

Artificial Analysis是一个独立的AI模型基准测试平台,综合编程能力、数学推理、语言理解、知识问答等多个维度评估模型表现

70%
已验证

Benchmark 是机器学习领域常用的标准化评测集与指标,如 MMLU(多学科知识)、HumanEval(代码生成)、GSM8K(数学推理)等。

65%
已验证

Artificial Analysis的Intelligence指数是对一系列现有Benchmark(如MMLU、HumanEval、MATH等)做加权平均得到的综合分数

65%
已验证

Artificial Analysis 等第三方平台会把多个子基准分数标准化后聚合成一个质量指数,使不同模型可在同一刻度上比较

65%
已验证

GPQA(研究生级别专业问答)专注于需要博士级专业知识的问题

65%
已验证

Artificial Analysis Intelligence Index整合了MMLU、HumanEval、MATH、GPQA等多个基准测试的加权结果

65%
已验证

MMLU、GSM8K、HumanEval三大基准均已出现不同程度的污染问题,研究者发现多款主流模型训练数据中存在与测试题高度重叠的内容

65%
待验证

The industry has begun shifting toward more challenging benchmarks like GPQA and MATH as older benchmarks lose discriminative power

80%
待验证

GPQA(Graduate-Level Google-Proof Q&A)专注于博士级别的科学推理难题

60%
待验证

评估本地模型是否适合需求可参考 MMLU、HumanEval 等标准化基准测试分数

60%
待验证

GPQA是研究生级别科学问答基准,SWE-bench针对软件工程真实任务

60%
待验证

GPQA由纽约大学研究团队设计,非专业人士使用搜索引擎答题准确率约34%,领域专家平均得分约65%

60%
待验证

BioBasics Bench 属于领域专项基准测试,与 MMLU、GPQA 等通用评测不同,专门考察模型对日常生物实验资料的阅读理解与分析能力。

50%
待验证

专项决策指数与通用 benchmark(如 MMLU、GPQA)不可直接横向比较。

50%

来源文章