[控场AI]
· 7 分钟阅读· 3,511 字

Gemini 4 Hydrogen跑分全解析:编程与AI代理性能

Gemini 4 Hydrogen跑分全解析:编程与AI代理性能

Gemini 4 Hydrogen 主打执行与代理能力,计算机操作和自动化基准突出,编程修复偏弱。

Gemini 4 Hydrogen 是 Google 推出的新模型,定位日常任务、编程与 AI 代理,强调执行效率而非通用对话。实测数据显示,其在 SWE-bench 上仅得 13.5%,但 Terminal Bench 达 57%,说明工具调用与终端操作强于复杂代码修复;Automation Bench 76.76%、Knowledge Work 71.6%,流程化任务表现更稳;OS World 77.6% 显示 GUI 操作能力突出,而 MMMU 53.44% 表明多模态理解属中等。模型支持 100 万 token 上下文,HLE Diamond 得分 58.8%,API 起价每百万输入 token 1.5 美元。整体更适合作为 AI 代理底层引擎,而非纯对话助手。

Gemini 4 Hydrogen跑分全解析:编程与AI代理性能

Google 推出了一款名为 Gemini 4 Hydrogen 的新模型。据 YouTube 频道 Aman Tech 的介绍,这款模型的定位非常明确:面向日常任务、编程以及 AI 代理(AI Agents)场景,主打执行速度和任务完成效率。对于关注大模型落地的开发者来说,这组定位本身就值得注意——它没有强调通用对话能力,而是把重心压在"干活"上。

本文基于该频道的实测与公布的基准数据,逐项拆解 Gemini 4 Hydrogen 在不同维度上的表现,并分析这些数字对实际使用意味着什么。

Gemini 4 Hydrogen 面向日常任务、编程与AI代理设计

编程能力:SWE-bench 与 Terminal Bench 表现

编程是这次公布数据中最受关注的部分。Gemini 4 Hydrogen 在 SWE-bench 上取得 13.5% 的分数,在 Terminal Bench 上则拿到 57%。

这两个指标指向的是不同类型的编程能力。SWE-bench 通常衡量模型解决真实代码仓库中 issue 的能力,涉及多文件理解、补丁生成和逻辑推理,难度较高;Terminal Bench 则更偏向命令行环境下的操作与任务执行,考察模型在终端交互中的稳定性。57% 的 Terminal Bench 成绩说明它在"按指令操作系统环境"这件事上具备一定可用性,而 SWE-bench 的表现则反映出真实工程修复场景仍是难点。

两者的差距也提示一个判断:Gemini 4 Hydrogen 的强项更可能在工具调用与任务编排,而非从零构建复杂代码补丁。

Terminal Bench 与 SWE-bench 得分示意

SWE-bench 与 Terminal Bench 的区别

SWE-bench 全称 Software Engineering Benchmark,源自真实开源仓库(如 Django、scikit-learn)中已解决的 GitHub issue,要求模型在给定代码库和问题描述的条件下生成能通过测试的补丁。它考验的是跨文件定位、依赖理解、逻辑推理和补丁正确性,属于“端到端修 bug”能力,分数普遍偏低,当前顶尖模型也常在 20%–40% 区间。

Terminal Bench 则聚焦命令行环境:模型需要在 shell 中执行命令、读写文件、安装依赖并完成指定任务,评判标准是最终系统状态是否正确。它更接近“代理操作计算机”的场景,考察指令遵循、错误恢复和工具调用稳定性。两者分数差异大,正说明模型的强项在交互式执行,而非纯代码推理。

知识工作与自动化:Knowledge Work 71.6%、Automation Bench 76.76%

在知识工作类任务上,该模型在 Knowledge Work 基准中拿到 71.6%,在 Automation Bench 中拿到 76.76%。

这两个分数放在一起看比较有意思。Automation Bench 高于 Knowledge Work,说明模型在结构化、流程化的自动化任务中表现更稳,而在需要综合理解与判断的知识工作场景中略有回落。这与它"面向日常任务和代理"的产品定位是吻合的——流程明确的重复性工作,正是 AI 代理最擅长接管的部分。

对于打算把模型接入工作流自动化的团队,76.76% 这个量级意味着多数标准流程任务可以交给模型处理,但仍需保留人工校验环节。

Knowledge Work 与 Automation Bench 的定位

Knowledge Work 基准通常模拟白领日常任务,如整理资料、撰写摘要、跨文档信息比对,要求模型综合理解、判断并产出可用结果,难度在于任务边界模糊、需要常识与上下文把握。Automation Bench 则面向结构化流程,例如按固定规则填写表单、触发多步操作、处理标准化数据流转,任务步骤明确、成功条件可量化。

前者分数偏低说明模型在开放式判断上仍有波动,后者分数偏高则反映其在规则清晰、步骤可枚举的任务中执行稳定。这一对比对落地选型有直接参考:流程越标准化,模型接管越可靠;判断越依赖语境,越需要人工复核。

计算机操作与多模态:OS World 77.6%、MMMU 53.44%

Computer Use 能力方面,Gemini 4 Hydrogen 在 OS World 上得分 77.6%。这个数字相当突出,说明模型在模拟操作系统界面操作(点击、输入、界面导航)的任务中完成度较高,是支撑 AI 代理自主操作软件的核心能力。

多模态方面,MMMU 得分为 53.44%。相比计算机操作的高分,多模态理解的表现属于中等水平,提示它在图文混合推理上并非最强项。如果你的场景以界面操作为主,这个短板影响有限;但如果任务高度依赖图像理解和跨模态推理,则需要谨慎评估。

OS World 与 MMMU 得分对比

OS World 与 MMMU 测的是什么

OS World 是一个真实操作系统环境下的代理基准,模型通过截图观察屏幕,输出点击、输入、滚动等动作,完成跨应用任务(如打开浏览器查资料并填入表格)。它同时考验视觉定位、界面理解和多步规划,77.6% 属于较高水平,说明模型具备较可靠的 GUI 操作能力。

MMMU(Massive Multi-discipline Multimodal Understanding)则用大学级别、跨学科的图文题目考察多模态推理,涵盖图表、公式、示意图等,要求模型结合图像与文本进行深度理解。53.44% 处于中等区间,表明其在纯视觉语义推理上并非顶尖,与 OS World 的高分形成“会操作但未必深懂图”的组合特征。

上下文窗口与高难推理:100万 Token 与 HLE Diamond 58.8%

Gemini 4 Hydrogen 的上下文窗口达到 100 万(10 Lakhs)tokens。这个容量意味着可以一次性放入大量代码库、长文档或完整对话历史,对代码审查、长文档分析类任务有直接价值。

在高难度推理基准 HLE Diamond 上,模型得分 58.8%。这一成绩表明它在需要深度推理的题目上具备较强能力,与前面偏执行侧的定位形成互补:既能动手操作,也能处理需要思考的复杂问题。

上下文窗口与 HLE Diamond 表现

HLE 与百万上下文的意义

HLE(Humanity's Last Exam)是近年推出的大模型高难度综合测试,题目由各领域专家编写,覆盖数学、物理、法律、人文等,旨在区分顶尖模型,普通模型得分往往个位数。HLE Diamond 是其高难子集或特定版本,58.8% 属于显著高于平均线的成绩,说明模型在深度推理与跨学科知识调用上有较强底子。

百万 token 上下文则意味着单次请求可容纳约数十万汉字或数万行代码,适合整库审查、长报告分析、多轮对话记忆等场景。但需注意,长上下文会线性推高输入成本,且模型对超长文本中段信息的召回仍可能衰减,实际使用时应把关键信息放在靠前或靠后位置。

API 定价与适用场景判断

价格方面,Gemini 4 Hydrogen 的 API 起价为每百万输入 token 1.5 美元。结合前述数据,可以给出一个粗略的适用判断:

  • 适合:需要模型操作系统界面、执行流程化自动化任务、处理超长上下文文档的场景;
  • 需评估:高难度真实代码修复、依赖多模态深度理解的任务;
  • 成本考量:百万级上下文虽然能力强,但长输入会显著推高单次调用成本,需要按任务实际长度做预算。

整体来看,Gemini 4 Hydrogen 是一颗偏向"执行力"的模型——计算机操作与自动化基准上的高分,配合百万级上下文和相对亲民的输入价格,让它更适合作为 AI 代理的底层引擎,而不是单纯的对话助手。以上数据均来自 Aman Tech 频道的介绍,实际表现仍需以更多独立测试为准。

#Gemini 4 Hydrogen#Google Gemini 基准测试#AI 代理#编程能力跑分#OS World#百万上下文窗口#Gemini API 定价
分享:

相关推荐