[控场AI]
· 9 分钟阅读· 4,581 字

Gemini 4 Argon 对决 Claude Fable 5.1:17项基准测试全面对比

Gemini 4 Argon 对决 Claude Fable 5.1:17项基准测试全面对比

Gemini 4 Argon 在 17 项共享基准中 15 胜 2 负,全面压制 Claude Fable 5.1。

Google DeepMind 的 Gemini 4 Argon 与 Anthropic 的 Claude Fable 5.1 在 17 项共享基准测试中展开对比,Argon 以 15 比 2 的悬殊比分获胜,另有 2 项计算机使用测试 Fable 未参与。Argon 在知识工作四项全胜,法律工作测试以 19.6% 对 6.7% 拉开近三倍差距,自动化任务亦有近 20 个百分点优势。长上下文是 Argon 的招牌能力,100 万 token 下以 84.2% 对 65.0% 领先;多模态与安全领域同样全面占优,图表阅读以 71.6% 对 46.2% 创下全场最大差距。Fable 仅守住硬工程与终端智能体两项编码测试,优势均仅半个百分点,编码类别最终 2 比 2 打平。文章提醒,比分之外的解读更复杂:Fable 仍是强模型,计算机使用类别的缺失留下真实空白。

Google DeepMind 的 Gemini 4 Argon 与 Anthropic 的 Claude Fable 5.1 在 17 项共享基准测试中展开了正面交锋。结果并不焦灼——Argon 拿下其中 15 项,Fable 仅守住两个编码测试的微弱优势,另有整整两个类别的测试 Fable 从未参与。

这是目前所有对比系列中差距最悬殊的一场。作为参照,此前 Argon 与 GPT-6 的对决是一场真正的拉锯战,而这一次更接近一边倒的宣告。

Gemini 4 Argon vs Claude Fable 5.1 基准对比

知识工作:Argon 的压倒性优势

知识工作是企业真正愿意为大型语言模型付费的领域,也是 Argon 拉开最大差距的地方。四个知识工作测试,Argon 全部拿下。

差距的分布很有意思。通用推理测试中,Argon 得分 68.9%,Fable 为 65.8%,差距尚属温和。金融工作测试 65.4% 对 58.9%,同样在可接受范围内。但到了自动化任务,差距骤然扩大:Argon 51.3%,Fable 仅 31.4%,接近 20 个百分点的鸿沟。法律工作测试更加戏剧化——Argon 19.6%,Fable 6.7%,接近三倍差距。

法律测试的结果值得单独拿出来说。这类智能体基准测试的任务本身难度极高,所以即便获胜方的绝对分数也不算漂亮。但三倍的优势足以影响采购决策。任何正在评估 AI 用于合同审查或法律检索的机构,都很难忽视这个数字。

科学与数学领域同样如此。在机器学习工程与科学的四项合并测试中,Argon 全部获胜。实验室科学测试是其中亮点:Argon 88.8% 对 Fable 68.6%,在科学推理任务上拉开 20 个百分点。数学推理 76.0% 对 65.6%,终端科学 57.6% 对 52.6%,ML 工程 45.3% 对 40.2%。没有一项接近到可以争议的程度。

什么是智能体基准测试?

文中提到的"智能体基准测试"(agentic benchmark)与传统的单轮问答评测有本质区别。传统基准通常给模型一道题、一个标准答案,而智能体基准会模拟一个完整的工作流程:模型需要自主分解任务、调用工具(如浏览器、代码解释器、文件系统)、在多步操作中维护中间状态,最终交付一个可验证的结果。正因如此,这类测试的绝对分数普遍偏低——即便是领先模型,法律工作测试也只有不到 20% 的得分,并非模型无能,而是任务本身模拟的是人类专家需要数小时甚至数天才能完成的工作。这也解释了为什么法律工作中 Argon 的 19.6% 与 Fable 的 6.7% 之间的"三倍差距",在采购层面反而比通用推理那几个百分点的差距更具信号意义。

长上下文:Argon 的招牌能力

长上下文可以说是 Argon 的标志性优势——Google 在构建这款模型时就以此为核心方向。而 Fable 在这一类别中表现得最为吃力。

在 128K token 的上下文窗口下,Argon 得分 99.7%,Fable 为 91.4%。将上下文拉伸到完整的 100 万 token 时,差距急剧扩大:Argon 84.2%,Fable 仅 65.0%。当输入规模真正变得庞大时,两者之间接近 20 个百分点的距离。对于需要在单次处理中消化海量文档、代码库或数据集的用户而言,这是决定性的一个类别。

这些差距之所以重要,不仅在于幅度,更在于一致性。Argon 并非靠某一项测试的运气拿下知识工作类别——它在推理、自动化、金融和法律任务上全面获胜,说明其专业工作能力建立在更扎实的基础上,而非狭窄的专项优化。企业在评估模型部署时,恰恰看重这种广度,因为真实工作流很少局限在单一基准测试的边界内。

上下文窗口与"大海捞针"式的评测逻辑

上下文窗口(context window)指模型在一次推理中能够同时"看到"的 token 上限,128K 大约相当于一本中等长度的书,100 万 token 则相当于数千页文档或一个中小型代码库。长上下文能力的关键难点不在于"装得下",而在于"记得住"——随着输入变长,模型对早期信息的注意力会被稀释,出现"中间遗失"(lost-in-the-middle)现象。因此这类基准通常将关键信息埋在长文本的中段或尾部,考察模型能否准确检索并利用。128K 时 Argon 的 99.7% 意味着几乎所有检索任务都成功,而拉伸到 100 万 token 后跌至 84.2%,说明即便是最强模型,规模效应带来的衰减依然存在——只是 Argon 的衰减曲线比 Fable 平缓得多。

Fable 的阵地:编码测试中的微弱胜利

公平地说,Claude Fable 5.1 并非在所有领域都溃不成军。它的两场胜利都来自智能体编码测试,而且是实打实的胜利,不是四舍五入的产物。

硬工程测试归属 Fable,56.3% 对 Argon 的 55.0%。终端智能体同样由 Fable 拿下,57.9% 对 57.4%。差距都在半个百分点左右,但胜就是胜。这说明在某些高要求的软件工程任务上,Fable 的训练赋予了它真实优势,或者至少是微弱领先的持平状态。

Argon 拿下了另外两项编码测试。真实世界编码是 Argon 的明显胜利,77.9% 对 67.4%,差距超过 10 个百分点。氛围编码更接近,91.9% 对 90.3%,但仍是 Argon 的。所以编码类别最终 2 比 2 打平——这是整场对比中 Fable 唯一没有输掉的类别。

多模态与安全:最大差距的诞生

多模态和安全测试中,Argon 贡献了全场最具统治力的表现。图表阅读测试以 71.6% 对 46.2% 结束,差距超过 25 个百分点——这是整个对比中最大的单项差距。视频理解 91.7% 对 79.7%,安全测试 68.0% 对 58.0%。Fable 在这些项目上均无竞争力。

然后是数据缺失的问题。Fable 5.1 没有参与任何计算机使用基准测试,无论是智能体考试还是真实桌面测试。Argon 在这两项分别得分 39.5% 和 69.2%,但没有 Fable 的对比数据,这个类别无法计入胜负。

值得注意的一个背景是,Anthropic 历史上一直将 Claude 定位为计算机使用能力较强的模型。这里分数的缺席留下的是一个开放问题,而非默认失败。Anthropic 的下一代模型几乎必然会补上这一块。

计算机使用能力为何重要,又为何测起来困难

"计算机使用"(computer use)指的是模型直接操作图形界面——移动鼠标、点击按钮、填写表单、跨应用完成工作流,而非仅仅生成文本或调用 API。这是智能体从"会写代码"迈向"会干活"的关键一步,因为它绕过了缺乏 API 的遗留软件。评估这类能力极其昂贵:需要搭建真实或虚拟的桌面环境、定义可自动判定的任务成功标准,且不同模型对界面截图的理解方式差异很大,复现性差。Anthropic 在 Claude 系列中曾将计算机使用作为主打卖点,此次 Fable 5.1 缺席该类别,可能涉及评测框架适配、版本稳定性或纯粹的排期问题——文中将其定性为"开放问题而非默认失败",是相当克制的判断。

完整基准数据一览

以下是全部 17 项共享测试的并列数据。Argon 15 胜,Fable 5.1 2 胜,2 项未被挑战。

类别测试ArgonClaude Fable 5.1胜者
知识工作通用推理68.9%65.8%Argon
知识工作自动化任务51.3%31.4%Argon
知识工作金融工作65.4%58.9%Argon
知识工作法律工作19.6%6.7%Argon
智能体编码真实世界编码77.9%67.4%Argon
智能体编码硬工程55.0%56.3%Fable 5.1
智能体编码氛围编码91.9%90.3%Argon
智能体编码终端智能体57.4%57.9%Fable 5.1
ML工程+科学ML工程45.3%40.2%Argon
ML工程+科学终端科学57.6%52.6%Argon
ML工程+科学实验室科学88.8%68.6%Argon
ML工程+科学数学推理76.0%65.6%Argon
长上下文128K Token99.7%91.4%Argon
长上下文1M Token84.2%65.0%Argon
计算机使用智能体考试39.5%未测试未竞争
计算机使用真实桌面69.2%未测试未竞争
多模态+安全图表阅读71.6%46.2%Argon
多模态+安全视频理解91.7%79.7%Argon
多模态+安全安全68.0%58.0%Argon

比分之外的解读

最终比分:Argon 15,Fable 5.1 2,另有 2 项未被挑战。纯看数字,这是该系列对比中最具决定性的结果。

但诚实的解读比比分复杂。Fable 的两场编码胜利虽然微弱,证明它在软件工程任务上仍有资格参与对话。未测试的计算机使用类别留下了对比中真实的空白。而基准测试无论设计多么精心,衡量的终究是特定条件下的特定任务——它们无法捕捉写作质量、对话手感,以及围绕每个模型的生态系统,而这些对真实用户同样重要。

还需要把 Fable 的处境放在更大的背景下看。15 比 2 输给当前的基准领跑者,并不等于 Fable 是一块弱模型。Fable 5.1 依然是一个能力很强的系统,它在编码测试中的胜利表明,在开发者关心的任务上,它仍能与 Argon 过招。差距之所以显得巨大,部分原因是 Argon 在这套评估集上确实表现卓越,而非 Fable 崩盘。面对市面上大多数其他模型,Fable 的竞争力会强得多。

对于持续关注这一系列的读者来说,模式已经清晰:Argon 在所有领域领先,但领先幅度取决于对手。GPT-6 在编码和终端任务上给 Argon 制造了真正的麻烦。Fable 只能拿到两场微弱的编码胜利。下一场对决的问题是:有没有哪个对手能拿下一个完整类别,而不只是一两项测试?

#Gemini 4 Argon#Claude Fable 5.1#基准测试对比#LLM 性能对比#AI 模型评测#长上下文#智能体编码
分享:

相关推荐