[控场AI]
· 6 分钟阅读· 3,355 字

Hugging Face官方榜单日更:49个基准,SoMarkAI视觉解析登顶

Hugging Face官方榜单日更:49个基准,SoMarkAI视觉解析登顶

Hugging Face官方榜单已聚合49个基准、1107条成绩,OCR赛道易主,FINAL-Bench以11个榜首领先但存关联关系。

截至2026-10-20,Hugging Face官方基准榜单已聚合49个官方基准、累计1107条成绩,当日新增5条。最大变动是SoMarkAI的OXR-1.0以87.84分登顶olmOCR-bench,取代infly/Infinity-Parser2-Pro。组织榜上FINAL-Bench以11个榜首断层领先,但其与榜单维护方QuantID存在技术合作,需审慎看待;inclusionAI与zai-org各4个榜首,中国团队在组织榜前十中占多数。各赛道头部分散:SWE-bench_Verified由Ornith-1.5-397B拿下,terminal-bench不同版本赢家不同,法律基准LEXam-hard头部仅45.72分,显示专业领域仍是短板。文章强调榜单多为作者自报,评测设置不统一,交叉验证比单一榜首更有价值。

Hugging Face官方基准榜单快照

Hugging Face 的官方基准榜单生态正在快速膨胀。根据 QuantID 维护的榜单地图最新快照,截至 2026-10-20(KST),平台已聚合 49 个官方基准(official benchmark),累计收录 1,107 条榜单成绩。这个数字本身比任何单一模型的名次都更值得关注:它说明社区对「可复现、可对比」的评测需求,已经从少数几个明星榜单扩散到了覆盖 OCR、Agent、代码、法律、语音等细分领域的矩阵式结构。

需要先说明榜单的读法:绝大多数成绩由模型作者自行提交,采样参数、投票策略、思考预算等评测设置各不相同,只有 Hugging Face 官方标记的条目才属于 verified。因此下面的排名更适合看作「社区公开自报成绩的聚合视图」,而非独立第三方评测。

本期最大变动:olmOCR-bench 换王

过去一天的核心变化集中在文档解析赛道。SoMarkAI 的 OXR-1.0 以 87.84 分登上 olmOCR-bench 榜首,取代了此前的 infly/Infinity-Parser2-Pro。该榜单当前有 22 条成绩记录,是 OCR 方向竞争最集中的阵地之一。

同期全站新增 5 条榜单成绩,分布在不同基准上,增量不大,但榜首易主往往意味着新一轮提交潮的开始。文档解析是过去一年落地需求最旺的方向之一——发票、合同、扫描件、多语言表格的结构化抽取都依赖这类能力,榜单名次的商业含义比纯学术基准更直接。

olmOCR-bench 是由 Allen Institute for AI(AI2)推出的文档解析评测基准,源自其开源 OCR 模型 olmOCR 的配套评估体系。它针对真实 PDF 场景设计,覆盖表格、公式、多栏排版、页眉页脚、手写体等难点单元,并要求模型输出结构化文本(如 Markdown),再通过规范化后的编辑距离、表格 TEDS 等指标打分。与传统 OCR 只看字符识别率不同,olmOCR-bench 更强调版面还原与阅读顺序,因此能更贴近 RAG、文档问答等下游任务的真实需求;这也是它成为文档解析赛道核心擂台的原因。

组织榜:FINAL-Bench 以 11 个榜首断层领先

按「占据多少个榜单第一」统计,第一名与其余组织拉开了明显差距:

排名组织榜首数
1FINAL-Bench11
2inclusionAI4
3zai-org4
4XiaomiMiMo3
5deepseek广告-ai3
6MiniMaxAI2
7moonshotai2
8ornith-ai2

FINAL-Bench 的 11 个榜首由其 Darwin-180B-RSI 系列模型贡献,覆盖 MMLU-Pro(88.12)、gpqa(94.44)、MMMU_Pro(79.48)、LEXam 系列、hmmt_feb_2026(100 分)等多个方向。这里必须提一句原文的披露:FINAL-Bench 与榜单维护方 QuantID 存在技术合作伙伴关系,其母公司 VIDRAFT 出现在排名中,因此这份日报并非独立评测,读者对相关名次应保留一分审慎。

紧随其后的 inclusionAI 与 zai-org 各拿 4 个榜首,前者靠 Ling-3.1-flash 在 SWE-bench_Pro(68.74)、SWE-bench_Multilingual(88.5)和 skillsbench(68.7)上多点开花,后者则由 GLM 系列在 ResearchClawBench、EvasionBench、chi-bench 等细分评测上占位。

各赛道头部模型一览

把 49 个榜单按能力域拆开看,头部格局会更清晰。

通用知识与推理

MMLU-Pro 与 gpqa 双双由 FINAL-Bench/Darwin-180B-RSI 领跑,aime_2026 与 hmmt_feb_2026 则拿到 100 分满分(这两个数学基准的记录数分别为 27 和 20,样本池尚小,满分的说服力有限)。hle 基准上 deepseek-ai/DeepSeek-V4.1-Flash 以 63.9 分居首,这个分数本身说明高难度推理集仍是硬骨头。

代码与终端 Agent

SWE-bench_Verified 由 ornith-ai/Ornith-1.5-397B 以 86 分拿下,SWE-bench_Pro 归 inclusionAI/Ling-3.1-flash(68.74)。终端类基准出现分歧:terminal-bench-2.0 榜首是 mindlab-research/Macaron-V1-Venti(87.6),而 terminal-bench-2.1 与 deep-swe 都由 DeepSeek-V4.1-Flash 领先。同一能力域不同版本榜单给出不同赢家,恰恰暴露了评测版本差异对结论的影响。

多模态、语音与垂直领域

ScreenSpot-Pro 由 meta-models/Muse-Glimmer-30B 以 75.4 分领跑 GUI 定位任务;Real5-OmniDocBench 上 PaddlePaddle/PaddleOCR-VL-1.6 拿到 93.19;语音方向 Edge0/ARK-ASR-3B 在 open-asr-leaderboard 以 4.76 的 WER 居首。法律垂直基准 LEXam-hard 的头部成绩仅 45.72,是全表最低的绝对分数之一,说明专业领域仍是模型短板。

另有几个读数需要留意:yc-bench 榜首成绩为 2,100,000,ResearchClawBench 为 20.709230769230768,这类未经归一化的原始分不建议跨榜单横向比较。

SWE-bench 系列值得单独说明其版本差异。SWE-bench_Verified 是从原始 SWE-bench 中人工筛选出的 500 个高质量 GitHub issue 子集,剔除了描述不清或测试不可靠的样本,因而成为代码修复方向引用最广的基准;SWE-bench_Pro 则面向更复杂的多文件、长链路工程任务,难度明显更高。类似的还有 terminal-bench 的 2.0 与 2.1 版本:同一能力域的不同版本在任务集、评分脚本或环境配置上存在差异,排名不可直接互换,这解释了为何会出现「同一能力、不同赢家」的现象。

WER(Word Error Rate,词错误率)是语音识别最常用的评价指标,计算方式为(替换词数 + 删除词数 + 插入词数)除以参考文本总词数,数值越低越好。它直接反映转写结果与人工标注文本的偏差,但对同音异形、标点与数字格式较敏感,因此不同榜单在文本规范化上的处理差异会影响可比性。open-asr-leaderboard 以 WER 为主指标,4.76 的成绩意味着每 100 个词中约有 4.76 个词存在错误,已是相当强的开源水平。

这份日报真正值得读的地方

单个名次会随提交波动,但结构性信号更稳定。第一,榜单数量已达 49 个,且长尾榜单(成绩数少于 10 条)占比不低,意味着大量细分方向刚进入「有人评测但样本不足」的阶段,早期提交的边际收益很高。第二,中国团队在组织榜前十中占据多数席位,DeepSeek、智谱(zai-org)、MiniMax、月之暗面、小米 MiMo、蚂蚁 inclusionAI 均有多个榜首,开源模型的竞争重心明显东移。第三,自报成绩的机制决定了榜单是「信号」而非「定论」——跨榜单、跨版本交叉验证,比盯着单一第一名更有价值。

#Hugging Face官方基准#olmOCR-bench#大模型排行榜#SWE-bench#开源模型评测#FINAL-Bench#DeepSeek-V4.1
分享:

相关推荐