M4 Pro
苹果自研的M系列专业级芯片,采用统一内存架构和台积电先进制程,面向视频渲染、3D建模等专业工作负载
时间轴 (近 90 天)
Kev 4B 的 GGUF Q4_K_M 量化版在 M4 Pro / 24GB Mac 上跑出72/82,与云端版本得分一致,中位延迟0.173秒,比调用云端版(1.534秒)快约9倍且零成本
在llama.cpp的真实跑分线程中,2021年M1 Max解码写入速度61 tokens/s,高于2024年M4 Pro的51 tokens/s
在M4 Pro芯片、24GB统一内存的MacBook Pro上通过llama.cpp运行,文本解码速度为10.13 tokens/秒,完整任务每个耗时4到7分钟
Ling 3.0 Tiny在M4 Pro的MacBook上推理速度约为每秒86-90 tokens,在8K上下文下峰值内存约8.34 GiB
在64GB内存下,30B~34B参数模型在Q4量化下可以流畅运行,70B模型在Q4下勉强可行但响应速度明显下降
对于M4 Pro 64GB追求快速视觉响应的用户,推荐选择Qwen2.5-VL-7B或Llama 3.2 Vision 11B
全部知识事实 (6)
Ling 3.0 Tiny在M4 Pro的MacBook上推理速度约为每秒86-90 tokens,在8K上下文下峰值内存约8.34 GiB
60%待验证Kev 4B 的 GGUF Q4_K_M 量化版在 M4 Pro / 24GB Mac 上跑出72/82,与云端版本得分一致,中位延迟0.173秒,比调用云端版(1.534秒)快约9倍且零成本
50%待验证在llama.cpp的真实跑分线程中,2021年M1 Max解码写入速度61 tokens/s,高于2024年M4 Pro的51 tokens/s
50%待验证在M4 Pro芯片、24GB统一内存的MacBook Pro上通过llama.cpp运行,文本解码速度为10.13 tokens/秒,完整任务每个耗时4到7分钟
50%待验证在64GB内存下,30B~34B参数模型在Q4量化下可以流畅运行,70B模型在Q4下勉强可行但响应速度明显下降
50%待验证对于M4 Pro 64GB追求快速视觉响应的用户,推荐选择Qwen2.5-VL-7B或Llama 3.2 Vision 11B
50%