[控场AI]
模型Gemma 4 E2B for TPU

Gemma 4 E2B

谷歌发布的端侧开放模型,专为Pixel 10系列Tensor G5芯片TPU优化,约20亿参数,支持多模态(文本、图像、音频),可完全离线运行

时间轴 (近 90 天)

10月13日

Anvil 的聊天功能使用 Gemma 4 E2B 模型,通过 LiteRT LM 运行时执行。

待验证50%
10月13日

端侧小模型在复杂推理任务上的表现与云端大模型仍有明显差距;Gemma 4 E2B 适合轻量级对话和指令跟随,但在多步逻辑推理或长上下文理解上能力边界明显。

待验证50%
10月13日

Gemma 4 E2B 中的 E2B 指 Effective 2 Billion,即有效参数量约 20 亿,实际参数可能因架构设计而略高。

待验证50%
10月13日

GSM8K 数学推理测试中,Qwen3-4B 得分为 0.915,Gemma 4 E2B 为 0.911,差异 +0.4 个百分点且置信区间跨零,是唯一与 Gemma 同级别的模型。

待验证50%
10月13日

Gemma 4 E2B 在该 TPU 上占用 8.97 GiB 显存,是候选模型中权重最大的模型之一。

待验证50%
10月13日

在 BFCL 工具调用测试中,SmolLM3-3B 得分 0.945,略高于 Gemma 4 E2B 的 0.927,但差异不显著;Qwen3-4B(0.940)、Qwen3-1.7B(0.935)、Qwen2.5-1.5B(0.910)、Granite 3.3 2B(0.920)均与 Gemma 处于同一水平。

待验证50%
10月13日

在 16 并发、256 token 输出测试中,Gemma 4 E2B 输出速度为 1887 tokens/秒,比它快的模型包括 Qwen2.5-0.5B(4176,2.21x)、Qwen3-0.6B(3210,1.70x)、Qwen2.5-1.5B(2780,1.47x)和 Qwen3-1.7B(2049,1.09x)。

待验证50%
10月13日

在 16 个请求各携带 3,072 token 长提示的场景下,Gemma 4 E2B 保持 1049 tokens/秒,而 Granite 3.3 2B 降至 732(0.70x),SmolLM3-3B 降至 725(0.69x),Phi-4-mini 降至 404(0.39x),Qwen3-4B 仅为 373(0.36x)。

待验证50%
10月13日

Gemma 4 E2B 的 KV 缓存容量为 321,280 token,是 Granite 3.3 2B(125,184)、SmolLM3-3B(120,320)、Qwen3-1.7B(100,096)、Qwen3-4B(50,688)的 2.6 到 6.3 倍。

待验证50%
10月13日

Gemma 4 E2B 每层只存储一个 KV 头,其 35 层中有 28 层仅保留 512 token 的滑动窗口,20 层复用更早层的缓存。

待验证50%

还有 7 条时间轴事件

全部知识事实 (20)

待验证

Gemma 4 E2B在没有工作指引时会幻想文件内容并声称完成任务,但加入不到80字的工作指引后能正确完成修复Bug的任务

85%
待验证

Gemma 4 E2B是Google于2025年发布的开源轻量级模型,仅有20亿参数,可在消费级硬件上本地运行

75%
待验证

端侧小模型在复杂推理任务上的表现与云端大模型仍有明显差距;Gemma 4 E2B 适合轻量级对话和指令跟随,但在多步逻辑推理或长上下文理解上能力边界明显。

50%
待验证

Anvil 的聊天功能使用 Gemma 4 E2B 模型,通过 LiteRT LM 运行时执行。

50%
待验证

Gemma 4 E2B 中的 E2B 指 Effective 2 Billion,即有效参数量约 20 亿,实际参数可能因架构设计而略高。

50%
待验证

Gemma 4 E2B 的 KV 缓存容量为 321,280 token,是 Granite 3.3 2B(125,184)、SmolLM3-3B(120,320)、Qwen3-1.7B(100,096)、Qwen3-4B(50,688)的 2.6 到 6.3 倍。

50%
待验证

在 BFCL 工具调用测试中,SmolLM3-3B 得分 0.945,略高于 Gemma 4 E2B 的 0.927,但差异不显著;Qwen3-4B(0.940)、Qwen3-1.7B(0.935)、Qwen2.5-1.5B(0.910)、Granite 3.3 2B(0.920)均与 Gemma 处于同一水平。

50%
待验证

在 16 并发、256 token 输出测试中,Gemma 4 E2B 输出速度为 1887 tokens/秒,比它快的模型包括 Qwen2.5-0.5B(4176,2.21x)、Qwen3-0.6B(3210,1.70x)、Qwen2.5-1.5B(2780,1.47x)和 Qwen3-1.7B(2049,1.09x)。

50%
待验证

在 16 个请求各携带 3,072 token 长提示的场景下,Gemma 4 E2B 保持 1049 tokens/秒,而 Granite 3.3 2B 降至 732(0.70x),SmolLM3-3B 降至 725(0.69x),Phi-4-mini 降至 404(0.39x),Qwen3-4B 仅为 373(0.36x)。

50%
待验证

Gemma 4 E2B 每层只存储一个 KV 头,其 35 层中有 28 层仅保留 512 token 的滑动窗口,20 层复用更早层的缓存。

50%
待验证

Gemma 4 E2B 在该 TPU 上占用 8.97 GiB 显存,是候选模型中权重最大的模型之一。

50%
待验证

GSM8K 数学推理测试中,Qwen3-4B 得分为 0.915,Gemma 4 E2B 为 0.911,差异 +0.4 个百分点且置信区间跨零,是唯一与 Gemma 同级别的模型。

50%
待验证

同一个Gemma 4 E2B模型在AWS不同推理后端上单请求生成速度从34.9到131.9 tokens/s不等,差距显著。

50%
待验证

来自Google QAT检查点的int4构建在Gemma 4 E2B上精度仅比bf16低不到0.5个点(0.678 vs 0.683),而从bf16直接round出的int8构建掉了1.3个点。

50%
待验证

将Gemma 4 E2B的embedding表量化到int4后,模型大小从6.32 GiB降至2.85 GiB,降幅主要来自embedding表而非Transformer主体。

50%
待验证

Gemma 4 E2B的embedding表占据模型权重的绝大部分,因为词表通常有数万到数十万条目,每条目维度数千,导致embedding表可轻松占据数GiB,量化策略必须优先处理embedding。

50%
待验证

推理速度方面 Gemma 4 E4B 每张约 0.9 秒、E2B 约 0.6 秒,165 张照片三分钟内跑完

50%
待验证

CRN v2 扣在冻结的 Gemma 4 E2B 模型之上,基座权重全程不变

50%
待验证

2B参数的模型在INT4量化后通常仅需约1-2GB内存,能在主流智能手机、嵌入式开发板等设备上运行

50%
待验证

Gemma 4采用混合专家架构(MoE),E2B后缀表示Effective 2B,每次推理只激活约20亿有效参数

50%

来源文章