内存带宽
衡量数据在内存与处理器之间传输速度的指标,单位通常为GB/s,是本地运行大语言模型时decode(解码)阶段的核心性能瓶颈
核心事实
时间轴 (近 90 天)
当模型参数量减半,单次前向传播需要搬运的字节数近似减半,在显存带宽不变的前提下每秒可生成的 token 数接近翻倍。
MoE架构中路由切换会引入额外的数据搬运和同步开销,调用越密集,CPU与内存带宽越容易成为瓶颈。
在AI芯片中,内存容量与内存带宽往往是决定实际性能的关键因素,而不只是峰值算力。
随着模型参数规模持续攀升,内存带宽和容量往往比算力更早成为瓶颈。
内存带宽衡量单位时间能传输多少数据,内存延迟衡量一次访问需要等多久,两者对性能的影响路径完全不同。
推理过程并非持续占用全部内存带宽:在两次请求之间,内存可能处于空闲状态。
内存带宽是衡量处理器与内存之间数据传输速率的指标,通常以GB/s为单位。
对终端设备而言,内存带宽影响端侧模型的响应速度和可承载的模型规模。
在AI负载中,尤其是大模型推理阶段,内存带宽往往比纯算力更能决定实际性能,因为模型参数需要频繁在内存与计算单元之间搬运,带宽不足会导致计算单元空转。
本地推理 LLM 的速度瓶颈往往在内存带宽而非纯算力,因为生成每个 token 都需要把全部权重过一遍。
还有 25 条时间轴事件
全部知识事实 (20)
移动端模型推理的速度瓶颈往往不在算力而在内存带宽
90%已验证大模型推理阶段是memory-bound(内存带宽受限),每生成一个Token需从显存读取整个模型权重,计算强度极低
80%已验证大语言模型的推理过程本质上是内存带宽受限(memory-bandwidth bound)的任务,每生成一个Token都需要将模型的全部权重从存储中读取一遍
80%已验证内存带宽是衡量处理器与内存之间数据传输速率的指标,通常以GB/s为单位。
75%已验证自回归大模型推理瓶颈并非计算量而是内存带宽,推测解码通过拒绝采样保证输出分布与原始大模型完全一致
75%已验证70B级别的模型即便经过量化,往往也需要40GB以上显存或多卡配置
75%已验证端侧AI在本地芯片上直接完成推理,数据全程留存于设备,响应速度更快且在无网络环境下同样可用
65%已验证每写出一个token,Mac需要从内存中读取整个模型,因此内存带宽成为推理速度的根本上限
65%已验证运行本地AI模型通常需要8-16GB以上内存、较新的CPU或支持GPU加速的显卡以及足够存储空间
65%已验证大模型推理中每生成一个token都需要从显存中读取全部模型权重,速度瓶颈本质是数据搬运问题而非计算问题
65%已验证自回归文本生成属于内存带宽受限任务,内存带宽而非算力峰值是真正的性能瓶颈
65%待验证内存带宽是大模型推理延迟的主要瓶颈之一,计算单元往往处于等待数据加载状态,这一现象称为「内存墙」
60%待验证自回归解码具有串行特性,每个Token的生成依赖前一个Token,难以并行
60%待验证当模型参数量减半,单次前向传播需要搬运的字节数近似减半,在显存带宽不变的前提下每秒可生成的 token 数接近翻倍。
50%待验证MoE架构中路由切换会引入额外的数据搬运和同步开销,调用越密集,CPU与内存带宽越容易成为瓶颈。
50%待验证随着模型参数规模持续攀升,内存带宽和容量往往比算力更早成为瓶颈。
50%待验证在AI芯片中,内存容量与内存带宽往往是决定实际性能的关键因素,而不只是峰值算力。
50%待验证内存带宽衡量单位时间能传输多少数据,内存延迟衡量一次访问需要等多久,两者对性能的影响路径完全不同。
50%待验证推理过程并非持续占用全部内存带宽:在两次请求之间,内存可能处于空闲状态。
50%待验证在AI负载中,尤其是大模型推理阶段,内存带宽往往比纯算力更能决定实际性能,因为模型参数需要频繁在内存与计算单元之间搬运,带宽不足会导致计算单元空转。
50%