Hugging Face官方基准榜首聚合索引：49项榜单谁在领跑

Hugging Face上的数据集如果被官方标记为"official benchmark"，其页面就会自动生成一个排行榜——数据来自各模型仓库发布的.eval_results文件。GPQA Diamond、MMLU-Pro、Humanity's Last Exam、SWE-bench Verified、Terminal-Bench、MMMU-Pro、LEXam、Open ASR Leaderboard等都属于这一类。

问题是，这些排行榜散落在几十个独立的数据集页面里。没有一个统一的地方能回答一个简单的问题：在所有官方基准中，到底谁拿了第一？

有人构建了一个聚合索引来回答这个问题。

这个索引展示了什么

它是一个只读的实时视图，每次访问都会从Hugging Face API重新计算。核心维度包括：

• 按机构统计的榜首数 — 每个组织当前领先多少个官方排行榜，附份额图表
• 按国家统计的榜首数 — 按发布机构所在国家分组的第一名位置
• 各领域领先者 — 一张热力图，覆盖数学、科学与知识、编程、Agent与终端、文档与OCR、视觉与视频、语音、法律与金融、检索与机器人等领域
• 第一名领先多少 — 每个榜单上第一名与第二名之间的相对差距，并且是方向感知的，因此像词错误率（WER）这类"越低越好"的指标能被正确处理
• 每个基准的详情 — 每个榜单的第一名和第二名模型及分数，以及条目数量

这种聚合方式的价值在于把一个分散的信息源变成了可比较的结构化视图。过去要判断某个机构是否"领跑"，需要在几十个页面之间手动翻查，现在可以一眼看到分布格局。

它是怎么构建的

没有任何数据是手工录入的。页面读取Hugging Face标记为官方基准的数据集列表，从公开API拉取每个榜单的排名条目，然后进行聚合。由于新的第一名只有在Hugging Face索引了评估结果之后才会出现，这个索引与源排行榜存在相同的延迟。

几个设计细节值得注意：

• 并列第一会同时计入所有并列的组织，不会人为拆开
• 第一到第二的差距是相对于第二名分数来衡量的，并且做了方向感知处理
• 国家信息来自发布机构，而不是模型名称——这意味着同一个模型如果由不同国家的团队发布，会被归入不同国家

这些设计选择看起来简单，但每一个都影响最终统计结果的解读方式。尤其是国家归属的问题：模型名称通常不包含地理信息，而发布机构的位置相对更可靠，但仍然不能完全等同于"模型来自哪个国家"。

.eval_results 与官方基准标记

Hugging Face 的模型仓库允许发布者上传 .eval_results 目录，里面是一系列结构化文件（通常为 YAML 或 JSON），记录该模型在某个基准上的分数、指标名称、评估时间等。数据集页面若被官方标记为 "official benchmark"，系统就会扫描这些文件，自动把符合该基准的结果汇总成一个排行榜。理解这一点很关键：排行榜上的数字并非 Hugging Face 自己跑出来的，而是模型发布方主动提交的声明，因此可验证性依赖于上传记录是否公开、时间是否可查。聚合索引正是顺着这条链路工作的——它复用了同一套官方标记和 .eval_results 数据，而不是另起炉灶去重新评测。这也解释了为什么新成绩总要先被 Hugging Face 索引之后才出现在聚合页上。

当前的数据快照

截至2026年10月初，该索引追踪了约49个官方基准，总计约一千条排行榜条目。

持有最多第一名位置的单一机构是FINAL-Bench，共11个榜首，覆盖科学、数学、多模态、法律、文档提取、结构化输出和决策制定等领域。这个分布本身就值得注意——它说明领先地位并不集中在传统意义上的"大模型"赛道，而是在多个垂直能力维度上分散存在。

为什么这件事有意义

基准声明很容易做出，但很难验证。"我们在X上领先"是一句话，但读者要核实它，通常需要找到对应的数据集页面、确认排行榜的存在、检查评估结果的提交时间、然后对比竞争模型的分数。

一个直接从评估结果读取的聚合页面，把这句话变成了点击一次就能验证的事情——包括领先优势到底有多大。

对于团队来说，这也是一个快速定位的方式：看到你所在领域的前沿在哪里，以及谁在守住那个位置。当领先差距很小时，说明竞争激烈；当差距很大时，说明某个模型或方法在这个维度上有实质性优势。

索引本身并不做判断，它只是把公开记录整理成一个可比较的形式。但对于任何需要跟踪模型能力格局的人来说，这种整理本身就是有价值的一步。

实时索引地址： https://huggingface.co/spaces/quantid/huggingface-official-benchmark-leaderboards