待验证50% 置信基准精确时间
Jordan Ilchif在32GB M4 MacBook Air上测试Qwen 3.8 27B,Ollama的NVFP4构建跑出17.2 tokens/s,纯MLX 6.6 tokens/s,LLAMA.cpp 4.4 tokens/s,但格式不同
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至:2027/1/11
来源
涉及实体
相关事实
待验证在M3 Max上运行Gemma 4 26B,MLX为65.0 tokens/s,LLAMA.cpp为63.9 tokens/s,两者基本打平73% 相似待验证在公平的4-bit对比中,MLX搭配D-Flash 2推测解码跑出16.6 tokens/s,对比Ollama Q4的5.7 tokens/s71% 相似待验证在4bit量化版本(完全放入32GB显存)测试中,Ollama达240 tokens/s,FreeToken为225 tokens/s,Ollama反而更快70% 相似待验证按高功耗加MLX或Ollama的公开数据,M4 Max上不同模型的解码速度大致阶梯为:Nemotron 3 Nano约160 tokens/s,Qwen 3.5 35B在107到130 tokens/s,Gemma 4 26B约75 tokens/s,DeepSeek V4 Flash约27 tokens/s,稠密27B约22 tokens/s69% 相似待验证在 Qwen3 27B 的 llama.cpp 环境下,R9700 跑出 27.1 tokens/s(达带宽上限约65%),B70 跑出 21.4 tokens/s(约50%出头)68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1015152API
curl https://kongchang.com/api/v1/knowledge/claims/1015152MCP
get_claim(id=1015152)