从MMLU到FrontierCode：AI评测基准为何越来越难

一条推文引发的思考

近日，一位AI研究者在Twitter上发出感叹："疯狂的是，MMLU不过是选择题问答，而现在你有了像Cognition推出的FrontierCode这样的评测，每道题目的构建就要花费40多个小时。"

这句看似随意的调侃，精准地捕捉到了AI评测领域正在发生的深刻变革。从早期简单的多选题测验，到如今需要专家投入数十小时才能设计出一道题目的复杂评测体系，AI基准测试（benchmark）的演进映射出整个大模型能力的飞速跃升。

Twitter原文截图

MMLU（Massive Multitask Language Understanding，大规模多任务语言理解）曾是衡量大语言模型知识水平的黄金标准。它涵盖从初等数学、美国历史到计算机科学、法律等57个学科领域，总计约1.6万道多选题。

在ChatGPT刚问世的年代，MMLU几乎是每一份模型发布报告的必备指标。研究者通过模型在这些选择题上的正确率，判断它"懂"多少知识。这种评测方式的优势显而易见：标准化、可量化、易于自动评分。只需比对模型选择的选项与标准答案是否一致，就能得出一个清晰的分数。

然而正如推文中所调侃的，MMLU本质上只是"选择题问答"（MCQ trivia）。随着GPT-4、Claude、Gemini等模型相继在MMLU上突破90%的准确率，这个基准的区分度迅速消失。当所有顶尖模型都拿到接近满分时，测试便失去了衡量能力差异的意义。

更深层的问题在于：选择题无法反映真实世界的复杂任务。现实中的工程问题、科研难题，很少有四个整齐排列的选项供你挑选。模型能选对答案，不代表它能独立完成一项需要长时间推理、多步骤规划的复杂工作。

Cognition公司推出的FrontierCode代表了AI评测理念的根本性转变。当创建单个评测任务需要投入40小时以上的专家工时，背后传达的信号非常明确：我们正在测试的，是接近甚至超越人类专家水平的AI能力。

一道需要40小时构建的编程或工程任务，通常包含了：

这种转变的核心，是从"测知识"到"测能力"的跨越。MMLU测的是模型"知道什么"，而FrontierCode这类评测测的是模型"能做什么"。

Cognition正是Devin——被称为"首个AI软件工程师"产品的开发商。他们对评测的重投入并非偶然，而是与产品定位高度一致：要证明AI可以像人类工程师一样工作，就必须用工程师级别的真实任务来考验它。

评测成本的飙升，本质上是被模型能力的进步"逼"出来的。当模型轻松刷爆简单基准时，研究社区不得不设计出更难、更接近现实的测试。这形成了一个持续的"军备竞赛"：

近年来涌现的一系列高难度评测，如GPQA（研究生级科学问答）、SWE-bench（真实软件工程任务），以及各类需要长时间执行的Agentic评测，都印证了这一趋势。

当一道题目的制作成本高达40小时，优质评测数据本身就成为极其宝贵的资产。这也解释了为什么Cognition、OpenAI、Anthropic这样的前沿实验室，愿意投入大量资源和顶尖专家来构建私有评测集。高质量的AI评测基准，正在成为衡量和推动AI进步的关键基础设施。

从MMLU到FrontierCode的演进，不仅仅是评测方法的技术升级，更折射出AI发展阶段的根本变化。

我们正在从"AI能否理解和记忆知识"的时代，迈入"AI能否自主完成复杂专业工作"的时代。当评测任务的难度和真实性逼近人类专家的日常工作，我们对AI能力的判断也从抽象的分数，转向了更具实际意义的"生产力"衡量。

对于开发者和企业而言，这意味着评估AI工具时，应当更加关注它在真实、复杂、长程任务中的表现，而非停留在简单的benchmark分数上。对于整个行业来说，评测的"通货膨胀"恰恰是AI能力突飞猛进最生动的注脚。