Gemma 4 26B
Google开源的Gemma系列大语言模型,参数量为26B,适用于推理和微调任务。
时间轴 (近 90 天)
VKORE 的基准测试使用 Google 开源的 Gemma 4 26B 模型,运行在一台八卡、32 芯片的韩系 NPU 服务器上。
在360条干净文本测试中,Jev仅误判1次,gpt-5-mini误判1次,Gemini 2.5 Flash-Lite和Gemma各误判2次,gpt-oss-safeguard-20b误判4次,Llama Guard 4误判26次。
在M3 Max上运行Gemma 4 26B,MLX为65.0 tokens/s,LLAMA.cpp为63.9 tokens/s,两者基本打平
按高功耗加MLX或Ollama的公开数据,M4 Max上不同模型的解码速度大致阶梯为:Nemotron 3 Nano约160 tokens/s,Qwen 3.5 35B在107到130 tokens/s,Gemma 4 26B约75 tokens/s,DeepSeek V4 Flash约27 tokens/s,稠密27B约22 tokens/s
在韩国NPU服务器(8张卡,共32颗芯片)上,VKORE使Gemma 4 26B模型的单用户响应从14.1 tokens/s提升到53.9 tokens/s,约3.8倍。
Qwen 3 235B和Gemma 4 26B在resolve-plus上均为0.6875,是全场最低
Gemma 4 26B A4B为25.2B总参数/3.8B激活,Qwen3-Next-80B-A3B为80B/3B,gpt-oss-20b为20.9B/3.6B
Gemma 4 26B因运行报错在产出分数前终止,原因是评分代码假设至少有一个句子以正确结构化格式返回
该演示使用 Gemma 4 26B 模型全程运行在本地环境
全部知识事实 (9)
VKORE 的基准测试使用 Google 开源的 Gemma 4 26B 模型,运行在一台八卡、32 芯片的韩系 NPU 服务器上。
50%待验证在360条干净文本测试中,Jev仅误判1次,gpt-5-mini误判1次,Gemini 2.5 Flash-Lite和Gemma各误判2次,gpt-oss-safeguard-20b误判4次,Llama Guard 4误判26次。
50%待验证在M3 Max上运行Gemma 4 26B,MLX为65.0 tokens/s,LLAMA.cpp为63.9 tokens/s,两者基本打平
50%待验证按高功耗加MLX或Ollama的公开数据,M4 Max上不同模型的解码速度大致阶梯为:Nemotron 3 Nano约160 tokens/s,Qwen 3.5 35B在107到130 tokens/s,Gemma 4 26B约75 tokens/s,DeepSeek V4 Flash约27 tokens/s,稠密27B约22 tokens/s
50%待验证在韩国NPU服务器(8张卡,共32颗芯片)上,VKORE使Gemma 4 26B模型的单用户响应从14.1 tokens/s提升到53.9 tokens/s,约3.8倍。
50%待验证Qwen 3 235B和Gemma 4 26B在resolve-plus上均为0.6875,是全场最低
50%待验证Gemma 4 26B A4B为25.2B总参数/3.8B激活,Qwen3-Next-80B-A3B为80B/3B,gpt-oss-20b为20.9B/3.6B
50%待验证该演示使用 Gemma 4 26B 模型全程运行在本地环境
50%待验证Gemma 4 26B因运行报错在产出分数前终止,原因是评分代码假设至少有一个句子以正确结构化格式返回
50%