Gemini 4 Carbon实测:比想象更糟的推理延迟

Gemini 4 Carbon实测慢五倍、首token超11秒,暴露Google推理托管系统性缺陷。
一位长期关注AI模型的开发者对Gemini 4 Carbon发布深度评测,结论比上期更悲观。他审计真实使用数据后发现,同等工程任务下Carbon耗时稳定为其他模型的五倍,首token等待超过11秒,且完成同一任务需要更多步骤,导致代理式工作流中大量任务因超时被终止。他指出延迟主因不在工具调用并行或TPS,而在请求到达服务器后的预填充与缓存环节:平均每文件读取8至16次,约30%概率无法命中刚写入的缓存。Vertex托管版本体验更差,推理强度被写入模型名称也给工具链带来麻烦。叠加订阅价格即将翻倍,他认为目前没有理由主动选择Gemini用于日常工作。
一位长期关注AI模型的开发者最近发布了对Gemini 4 Carbon的深度评测,结论比上一期视频更加悲观:模型在真实工程场景中的响应速度比同类产品慢五倍,首token等待时间超过11秒,缓存命中率极不稳定。这不仅仅是模型能力问题,更暴露出Google在推理托管层面的系统性缺陷。
从“勉强可用”到“无法忍受”
在上一期视频中,这位创作者原本计划对Gemini 4 Carbon持负面态度,但最终发现自己“奇怪地觉得还行”——原因并非模型代码写得好或3D能力强,而是它“似乎不会过多限制我”。然而,当他真正将模型投入日常工程工作后,情况急转直下。
他审计了自己对多个模型的真实使用数据,发现同等任务下,Gemini 4 Carbon的耗时稳定达到其他模型的五倍。更严重的是,他曾在九个不同场景中将Carbon作为评审模型引入,结果从第四次开始,大量任务出现“被父进程终止”的情况——因为等待时间太长,他不得不更新自己的技能配置,让代理在检测到Carbon响应过慢时主动放弃等待。

这意味着实际差距可能比五倍更夸张。“我不知道到底差多少,因为我不愿意放慢日常工作来精确测量,”他说,“就像我不会花时间去喂一只乌龟吃完整颗生菜。”
延迟的根源不在工具调用,而在请求落地之前
很多人第一反应是TPS低、算力不足或工具调用并行处理不当。创作者承认这些问题都存在,但指出它们通常只会造成30%到50%的性能损失,不足以解释五倍的差距。
真正的问题出在请求到达服务器之后、模型开始响应之前。他实测发现,Gemini 4 Carbon从请求命中服务器到开始执行操作, consistently需要超过11秒。在一段实时演示中,另外两个模型已经完成或接近完成,Gemini才刚开始动弹——而这只是一步操作,不是完整的一轮对话。

结合Gemini完成同一任务需要更多步骤的事实,每个请求额外增加11秒以上等待,累积效应让模型在代理式工作流中变得“实际上不可用”。
首token等待时间(Time to First Token, TTFT) 是衡量大模型推理服务质量的核心指标之一,指从客户端发出请求到收到模型返回的第一个输出token所经历的时间。在代理式(agentic)工作流中,模型往往需要多轮调用、每轮都重新发起请求,因此TTFT的累积效应远大于单次对话场景。TTFT通常由网络往返、请求排队、预填充(prefill)阶段的计算与缓存查找等环节构成,其中预填充阶段需要处理全部输入上下文,是长上下文场景下延迟的主要来源。业界一般将TTFT控制在1秒以内视为可接受,超过3秒即会明显影响交互体验;11秒以上的TTFT意味着代理在每一步操作前都要空转等待,与多步骤任务叠加后会导致整体耗时呈倍数放大。
缓存与托管:Google的基础设施裂缝
创作者将矛头指向Google的推理托管层。他提到,Gemini平均每个文件要读取8到16次,而且即使内容已经缓存,仍有约30%的概率无法命中刚写入的缓存,可能读取到30分钟前的旧缓存,或者干脆读取失败。
“他们是唯一一个需要先写缓存再读缓存的实验室,而且还有三成概率读不到你刚写的东西,”他说。
在托管方式上,订阅版和API版的速度表现似乎存在分歧,有用户反馈Vertex托管下的Gemini 4 Carbon几乎不可用,被迫绕过服务条款使用其他端点。此外,Google将推理强度直接写入模型名称而非作为独立字段,这一设计给分析工具带来了额外麻烦。

提示缓存(Prompt Caching) 是一种通过复用已处理过的输入上下文来降低推理成本与延迟的机制。其原理是将较长或重复出现的提示前缀(如系统指令、文件内容、对话历史)的键值缓存(KV Cache)保存在服务端,后续请求命中同一前缀时可直接复用,跳过重复的预填充计算。主流实现通常采用“写入—读取”分离的语义:首次请求写入缓存,后续请求按前缀匹配读取。命中率受缓存过期策略、前缀完全匹配要求、写入与读取之间的时间窗口等因素影响。命中失败时请求会退化为完整预填充,延迟显著上升。因此缓存一致性与命中率是评估推理托管平台工程质量的关键指标,尤其在需要反复读取同一批文件的代理式场景中影响更为突出。
与DeepMind的公开摩擦
视频中,创作者对DeepMind部分成员表达了明确不满。他称自己与DeepMind多位工程师保持良好沟通,这些人“整天私信我,求反馈,拼命让模型更好”,但负责人Varun的公开回应方式令他无法接受。
当他指出速度问题时,Varun回复“这不是我们在工作负载中看到的情况”,并在另一个场合以“这是高度赞扬”回应批评。创作者认为这种态度缺乏对问题的正视,并公开表示“我选择更个人化地表达,是想看看Varun能否承受压力”。

他同时强调,自己愿意提供所有运行记录、提示词和环境细节,只希望问题被修复。“我希望赛道上多一个玩家,我希望Gemini 4 Carbon能用来做它擅长的事。”
推理强度(Reasoning Effort) 是近年来推理模型引入的参数,用于控制模型在给出答案前进行内部思维链(Chain-of-Thought)计算的深度,常见取值如 low、medium、high。该参数直接影响输出质量、token消耗与响应延迟,通常作为独立的请求字段暴露给开发者,便于按任务难度动态调节。若将推理强度编码进模型名称(如以不同后缀区分),则调用方只能通过切换模型标识来改变行为,导致监控、A/B 测试与成本归因工具难以将其作为变量单独分析,也增加了多版本模型管理和回滚的复杂度。这一设计差异是评估推理平台 API 易用性时值得关注的细节。
价格与价值的双重失衡
除了速度,成本也是创作者质疑的重点。他提到订阅补贴价格已经“贵得离谱”,并且从12月1日起价格将翻倍。在截图对比中,Gemini 4 Carbon是其中最贵、最慢、体验最差的选项,而官方回应“我们正在研究如何进一步优化,延迟和成本之间总有取舍”在他看来等于承认“在所有维度上都跟不上”。
他的最终建议直截了当:目前没有任何理由主动选择Gemini模型进行日常工作,20美元的Claude订阅能提供更多推理次数和实际产出。“朋友不让朋友用Gemini,”他引用观众评论作为结尾。
编辑观点
这场“崩溃式”评测的价值不在于情绪表达,而在于它揭示了模型评测中常被忽略的维度:托管质量与工程可用性。首token延迟、缓存一致性和工具调用编排,这些不体现在基准分数上的指标,直接决定了模型能否进入真实生产流程。Google若想扭转开发者的信任,需要的不只是更强的模型,而是一套对得起模型能力的推理基础设施。
相关推荐

OpenAI 11月30日关停Agent Builder等三项服务,开发者需紧急迁移
OpenAI 将于 11 月 30 日关停 Agent Builder、evals 仪表盘和可复用提示三项开发者功能,evals 已转为只读。本文梳理受影响范围、OpenAI 官方给出的迁移路径(Agent SDK、PromptFu、自有代码)以及开发者本周应完成的导出与重建动作。

RankSpot:按次付费的SEO与AI搜索执行层,让Agent替你写文、发布、换外链
RankSpot 是面向 AI Agent 的 SEO 与 AI 搜索执行层,通过 MCP 接入 Claude 或 ChatGPT,让 Agent 完成写文、发布和外链获取。按次付费,每篇文章 3 美元,读数据免费,支持 100 多种语言。

Appxiom:给AI编程助手装上生产环境上下文
Appxiom为AI编程Agent提供生产环境上下文,覆盖崩溃、卡顿、内存泄漏与失败的网络调用,支持Android、iOS、Flutter、KMP和Web,并通过Goal Friction Impact按业务目标排序Bug。