待验证50% 置信基准精确时间
按高功耗加MLX或Ollama的公开数据,M4 Max上不同模型的解码速度大致阶梯为:Nemotron 3 Nano约160 tokens/s,Qwen 3.5 35B在107到130 tokens/s,Gemma 4 26B约75 tokens/s,DeepSeek V4 Flash约27 tokens/s,稠密27B约22 tokens/s
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至:2027/1/11
来源
涉及实体
相关事实
待验证M5 Max的token生成速度大约在10-30 tokens/s范围(取决于模型规模),而NVIDIA H100的HBM3显存带宽高达3.35TB/s,推理速度可达本地设备的数十倍77% 相似待验证在配备96GB显存的M2 Max上以1-bit精度运行时,简单任务生成速度稳定在约28-30 tokens/秒74% 相似待验证在4bit量化版本(完全放入32GB显存)测试中,Ollama达240 tokens/s,FreeToken为225 tokens/s,Ollama反而更快74% 相似待验证在公平的4-bit对比中,MLX搭配D-Flash 2推测解码跑出16.6 tokens/s,对比Ollama Q4的5.7 tokens/s74% 相似待验证在M3 Max上运行Gemma 4 26B,MLX为65.0 tokens/s,LLAMA.cpp为63.9 tokens/s,两者基本打平74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1015154API
curl https://kongchang.com/api/v1/knowledge/claims/1015154MCP
get_claim(id=1015154)