[控场AI]
· 7 分钟阅读· 3,705 字

Gemini 4 Argon实测:跑分亮眼,但代码审计失败率惊人

Gemini 4 Argon实测:跑分亮眼,但代码审计失败率惊人

实测显示Gemini 4 Argon代码审计失败率高达50%-70%,跑分与真实能力严重脱节。

Gemini 4 Argon在跳票八个月后发布,官方定位擅长跨领域复杂真实任务,但YouTube UP主的深度实测给出复杂结论:在Artificial Analysis智能指数上得分尚可,却因缓存命中率仅70%-80%导致实际成本高于Opus 5.5;三个真实代码审计项目失败率达50%-70%,SQLite修复生成1200行无效PR。其优势集中在YouTube API访问和视觉任务,但Anti-Gravity集成体验极差。UP主最终禁止Argon生成的PR合并进其项目,并建议团队用真实代码做审计测试。

谷歌终于发布了Gemini 4 Argon——距离上一次大尺寸Pro系列模型更新,中间隔了整整八个月。YouTube科技UP主拿到提前体验权限后,用真实工程项目做了一轮深度测试,结论远比官方基准数据复杂。

跳票八个月后发布的Argon

据该UP主介绍,Gemini 3.1 Pro到Gemini 4 Argon之间的空窗期长达八个月。这期间谷歌只更新了Flash系列模型。Argon目前已在API、Google AI Studio、Gemini平台、Anti-Gravity,以及Gemini App中面向Ultra和Pro订阅用户开放。

谷歌对Argon的定位是擅长"跨领域的深度复杂真实任务",涵盖编程、金融、法律、网络安全和科学研究。官方称其在VALS指数上排名第一,该指数衡量模型在金融、编程、法律和税务等关键经济领域的表现。

定价方面有一个需要注意的细节:目前API定价为每百万输入token 2美元、每百万输出token 10美元,但这是介绍性价格,从12月1日起将翻倍至每百万输入4美元、输出20美元。

I don't think it's as bad as what Meta did

跑分与实际体验的鸿沟

在Artificial Analysis智能指数上,Argon的得分高于Astra和6.1 Sol,但明显低于Opus 5.5的高推理模式。更关键的是,由于token使用效率不高,Argon的实际使用成本反而比得分更高的Opus 5.5还要贵。

UP主特别指出一个令人头疼的问题:Argon的缓存命中率极差,只有70%-80%,而其他模型通常能达到99%以上。这意味着95%的缓存读取折扣无法生效,实际输入成本会显著增加。

在幻觉控制方面,Argon在Artificial Analysis的AI Omniscience基准上录得15%的幻觉率,是所有智能指数超过45的模型中最低的。但该基准同时考量错误回答、部分回答和拒绝回答——当看综合得分时,Argon就跌到了第四名。因为它正确回答的问题数量不够多,"拒绝回答以避免出错"的策略并不能弥补准确率的不足。

缓存命中率指的是大模型推理时,重复或相似的前缀token能够从缓存中直接读取、无需重新计算的比率。主流商业API对缓存读取通常提供高达90%以上的折扣(例如Anthropic的缓存写入加价25%、读取折扣90%)。当缓存命中率稳定在99%以上时,多轮对话或长上下文任务的输入成本可被大幅压低;一旦命中率跌到70%-80%,意味着约两到三成的输入token需要按全价重新计算,而95%的折扣仅作用于命中部分。对于需要反复引用大型代码库的agent场景,这一差距会被轮次放大,直接拉高单任务的实际账单。

Artificial Analysis智能指数是一个综合性第三方基准,它把推理、编程、数学、科学等多类评测的分数加权汇总为一个可比较的数值,常被用来粗略衡量模型的通用智能水平。该指数的一个已知局限是:它衡量的是单点能力,而非token效率或单位成本产出。因此会出现Argon综合得分高于Astra却低于Opus高推理模式、但实际使用成本反而更贵的情形——得分高不等于性价比高,这也是评测榜单与工程落地之间常见落差的来源。

代码审计:最残酷的测试场

该UP主设计了一套代码审计基准,让模型审查真实项目代码库,然后验证每一条声明的真实性。三个项目的测试结果如下:

项目一(Tricer编译器Rust重写):6.1 Sol得分8.84,38条声明全部正确;Opus 5.5得分8.78,仅1条错误;Gemini 4 Argon得分4.38,24条声明为假——大多数对代码库的描述都是错的。

项目二(T3 Code远程更新工作流审计):Opus 5.5得分8.22;6.1 Sol无错误声明,仅需10分钟和1美元;Gemini 4 Argon再次表现不佳。

项目三(Lakebed产品审计):6.1 Sol得分9/10;Gemini 4 Argon仅得2.25/10——78条发现中56条是错的,失败率高达70%。

the thing everyone has hyped about, weirdly so,

UP主直言:"这个模型更可能对你的agent进行gaslight,而不是给出有用的反馈。"

代码审计基准与常见的代码生成评测有本质区别。它不要求模型写出能跑通的代码,而是要求模型阅读一个真实代码库,对架构、依赖、潜在缺陷等做出可验证的声明,然后由人逐条核对声明真假。这种方式能直接暴露模型的“幻觉式自信”:模型可能流畅地描述出一个并不存在的函数、误判数据流方向,或把无关模块当成核心逻辑。正因每条声明都需验证,假阳性率才会如此刺眼——它衡量的是模型“说的对不对”,而不是“写的像不像”。

前端设计与3D能力的两面性

在前端设计方面,Argon表现尚可。UP主用它生成的主页"如果偶然浏览到,不会猜到是AI生成的"。配合Anthropic的设计skill使用时效果明显更好,关掉skill后设计质量会大幅下滑。但与Fable 5.1相比仍有差距。

3D能力测试(Fish Slop游戏)暴露了典型的"Gemini式"问题:鱼的动画和眼睛朝向处理得不错,但出现了令人哭笑不得的逻辑漏洞——鱼缸底部的食物不会过期,鱼游过去后无法吃到,只能盯着食物直到饿死。另一个例子是:每60秒刷新怪物,击杀后掉落持续30秒的增益道具,但怪物不会在道具生效期间出现,导致该道具完全无用。

UP主将这类问题总结为模型缺乏"大模型味"(big model smell)——即对系统整体理解不够深入,能写出看起来合理的代码,但无法判断其逻辑是否自洽。

I'm gonna be so real,

SQLite修复的灾难现场

在一次真实的SQLite连接稳定性修复任务中,UP主已经知道正确方案是连接池加单写多读。Argon虽然正确识别了读写分离的方向,但生成的PR达到1200行(应该是30行),耗时30分钟,且格式完全不符合仓库规范,lint检查失败,也未修复审查机器人提出的问题。

最终Opus 5.5审查后确认该PR无效并关闭,实际正确修复仅需21行代码。Argon的问题在于:它能读代码并解释工作原理,但从不测试自己的理论,也不检查已有PR中是否已有正确方案。

独特的平台优势与现实局限

Argon并非毫无价值。谷歌给Gemini模型的YouTube API访问权限非常慷慨,从YouTube视频获取转录文本目前Gemini API是最佳途径之一。对于YouTuber或从事视频相关工作的人来说,这是实打实的优势。历史上Gemini模型在视觉任务上也有不错表现,比如识别主板元件并用Python标注。

但UP主也坦言,Gemini模型在使用谷歌自家服务(如邮件)时体验反而不好。而且Anti-Gravity的集成过程非常痛苦——模型slug和推理等级强制绑定、运行中途连接失败且无法恢复历史、大量bug需要开发者自行绕过。

high or higher level

Anti-Gravity是谷歌面向开发者的agent式编程环境,允许模型自主执行多步任务、调用工具并操作文件。文中提到的“模型slug和推理等级强制绑定”意味着开发者无法独立选择模型版本与推理强度,只能接受预设组合;而“连接中途失败且无法恢复历史”则反映其会话状态管理尚不成熟。这类集成障碍会显著抬高使用成本:团队不仅要承担模型本身的错误率,还要额外投入工程精力去绕过平台层缺陷,这也是许多开发者在评估阶段就放弃该工具链的现实原因。

一个开发者的最终选择

UP主做出了一个明确的决定:禁止Gemini 4 Argon和标准版Muse Wonder生成的PR合并到T3 Code代码库。他计划在本周内实现自动关闭这类PR的机制。

"我花在审查Gemini 4写的代码上的时间和token,比直接用更聪明的模型写代码还要多。"他表示,除了用Gemini获取YouTube数据外,不会再将其用于任何其他用途。

这番话是否过于苛刻?UP主自己也问了这个问题。但考虑到他在三个独立项目中获得的代码审计数据——失败率从50%到70%不等——这显然不是情绪化的判断。

对于正在评估是否将Argon纳入开发流程的团队,建议至少用自己项目的真实代码做一轮审计测试,不要仅凭官方基准数据做决策。

#Gemini 4 Argon#谷歌AI模型#AI编程能力对比#代码审计基准#AI幻觉率#大模型定价#Opus 5.5对比
分享:

相关推荐