共 2 篇相关文章
本地AI模型运行慢的根源是内存带宽而非算力。每生成一个token模型都要完整重读全部参数，速度上限约等于内存带宽除以模型大小。以M5 Max为例，614GB/s带宽跑17GB模型理论约36 tokens/秒，实测31 tokens/秒。
AMD最新256核EPYC处理器支持16通道DDR5-12800内存，带宽达到RTX 5090的91%，引发本地大模型社区热议。本文解析其规格意义、推理性能局限与高昂成本。
