GSM8K
小学数学应用题基准测试，包含8500道小学水平数学题，用于评估大语言模型的基础数学推理能力
核心事实
时间轴 (近 90 天)
GSM8K、MATH 和 BBH 是三个常用的推理评测基准，难度梯度明显：GSM8K 为小学数学应用题，MATH 涵盖竞赛级数学题，BBH 包含 23 类需要多步符号操作或策略推理的任务。
在 DeepSeek 真实 LLM 上，研究者在 GSM8K、MATH 和 BBH 三个基准上各取 50 个样本进行评测，GraphEvoResearcher 分别达到 98%、92% 和 82% 的准确率，在所有基线中最高。
Benchmark 是机器学习领域常用的标准化评测集与指标，如 MMLU（多学科知识）、HumanEval（代码生成）、GSM8K（数学推理）等。
通用大模型的评测基准（如MMLU、GSM8K）在科学场景中几乎失效，物理学家关心的是特定衰变通道的识别效率、特定分布的拟合优度等。
在 GSM8K（1319 题，8192 token 上限）测试中，BF16 得 1249，FP8 得 1241，MXFP8 得 1250，NVFP4 得 1238，三种量化格式在 ±3 分容差内与 BF16 打平
开源模型排行榜通常由第三方聚合多个基准测试（如 MMLU、HumanEval、GSM8K、长文本检索等）加权而成，不同榜单的权重设计差异极大。
传统基准如MMLU、GSM8K侧重语言与数学，而物理直觉测试要求模型预测物体在受力、碰撞、堆叠后的状态
大语言模型的这些缺陷在标准化基准测试（如MMLU、GSM8K）中往往被高分掩盖，因为评测集题目固定、格式规范、不涉及真实场景中的歧义与噪声。
reef的OpenClaw-RL配方使用72道GSM8K题目作为任务流，Qwen3-4B同时充当策略模型和过程奖励模型，Qwen3-32B作为学生模型，使用七块GPU，并设有一个更新被接受前必须达到的阈值。
GSM8K上跑通持续RL流程只能证明机制可行，不能证明它适用于奖励信号模糊的真实业务任务，因为大多数真实任务没有现成的程序化判分器。
还有 40 条时间轴事件
全部知识事实 (20)
MMLU评估模型在57个学科领域的知识广度，HumanEval测量代码生成正确率，GSM8K考察数学推理，HELM构建综合多维评估框架
90%已验证基准测试是验证模型能力的重要参考，常见评测维度包括数学推理、代码生成、科学问答
85%已验证基准污染是指测试题目可能已出现在训练数据中，导致高分不能真正代表泛化能力
85%已验证标准AI基准测试包括MMLU（涵盖57个学科的综合知识测试）、GPQA（研究生级别专业问答）、SWE-bench（真实软件工程任务）、HumanEval和MBPP（编程能力）、MATH和GSM8K（数学推理）
85%已验证MMLU包含57个学科领域约1.5万道选择题，HumanEval由OpenAI设计包含164道Python编程题，MATH包含12,500道竞赛数学题，GPQA收录研究生级别科学问题
80%已验证GSM8K是由OpenAI于2021年发布的小学数学应用题基准，包含约8500道需要2至8步推理的题目
80%已验证在MMLU、HumanEval、GSM8K等主流评测中，头部大模型的得分差距往往只有几个百分点
80%已验证GSM8K, released by OpenAI, contains approximately 8,500 elementary school math word problems designed to test multi-step reasoning ability
75%已验证HumanEval由OpenAI设计，包含164道Python编程题；GSM8K包含8500道小学数学应用题；MMLU涵盖57个学科领域的选择题
75%已验证AI模型基准测试通常在MMLU、HumanEval、GSM8K等标准数据集上评估模型的推理、编码和数学能力
70%已验证当测试题目可能已出现在训练数据中时，高分并不能真正代表泛化能力，这被称为基准污染
65%已验证业界常用的AI评测包括MMLU（大规模多任务语言理解）、HumanEval（代码生成）、GSM8K（数学推理）等，但每个基准只能衡量特定维度的能力
65%已验证MMLU、HumanEval、MT-Bench是AI社区广泛认可的标准化基准测试集
65%待验证在 MMLU、HumanEval、GSM8K 等主流基准上，开源模型已达到 GPT-4 早期版本 85-95% 的水平
70%待验证MMLU、HumanEval、GSM8K等大模型评测基准存在数据污染、过拟合和生态效度不足的局限性
70%待验证自我一致性（Self-Consistency）方法由Xuezhi Wang等人提出，在GSM8K等数学推理基准测试中将准确率提升了10%以上
70%部分验证GSM8K是小学数学推理基准，HumanEval是代码生成基准，HellaSwag是常识推理基准
65%待验证MMLU涵盖57个学科、近16,000道选择题；HumanEval由OpenAI开发包含164个编程题；GSM8K包含8,500道小学数学应用题
60%待验证HumanEval由164道Python编程题组成，GSM8K包含8,500道小学数学应用题
60%待验证当前AI模型评测主要依赖标准化基准测试（如MMLU、HumanEval、GSM8K等），但存在数据污染风险和与实际应用脱节的问题
60%