[控场AI]
概念Memory Bandwidth

内存带宽

衡量数据在内存与处理器之间传输速度的指标,单位通常为GB/s,是本地运行大语言模型时decode(解码)阶段的核心性能瓶颈

核心事实

时间轴 (近 90 天)

11月22日

当模型参数量减半,单次前向传播需要搬运的字节数近似减半,在显存带宽不变的前提下每秒可生成的 token 数接近翻倍。

待验证50%
11月14日

MoE架构中路由切换会引入额外的数据搬运和同步开销,调用越密集,CPU与内存带宽越容易成为瓶颈。

待验证50%
11月10日

在AI芯片中,内存容量与内存带宽往往是决定实际性能的关键因素,而不只是峰值算力。

待验证50%
11月10日

随着模型参数规模持续攀升,内存带宽和容量往往比算力更早成为瓶颈。

待验证50%
11月1日

内存带宽衡量单位时间能传输多少数据,内存延迟衡量一次访问需要等多久,两者对性能的影响路径完全不同。

待验证50%
10月31日

推理过程并非持续占用全部内存带宽:在两次请求之间,内存可能处于空闲状态。

待验证50%
10月30日

内存带宽是衡量处理器与内存之间数据传输速率的指标,通常以GB/s为单位。

已验证75%
10月30日

对终端设备而言,内存带宽影响端侧模型的响应速度和可承载的模型规模。

待验证50%
10月30日

在AI负载中,尤其是大模型推理阶段,内存带宽往往比纯算力更能决定实际性能,因为模型参数需要频繁在内存与计算单元之间搬运,带宽不足会导致计算单元空转。

待验证50%
10月27日

本地推理 LLM 的速度瓶颈往往在内存带宽而非纯算力,因为生成每个 token 都需要把全部权重过一遍。

待验证50%

还有 25 条时间轴事件

全部知识事实 (20)

已验证

移动端模型推理的速度瓶颈往往不在算力而在内存带宽

90%
已验证

大模型推理阶段是memory-bound(内存带宽受限),每生成一个Token需从显存读取整个模型权重,计算强度极低

80%
已验证

大语言模型的推理过程本质上是内存带宽受限(memory-bandwidth bound)的任务,每生成一个Token都需要将模型的全部权重从存储中读取一遍

80%
已验证

内存带宽是衡量处理器与内存之间数据传输速率的指标,通常以GB/s为单位。

75%
已验证

自回归大模型推理瓶颈并非计算量而是内存带宽,推测解码通过拒绝采样保证输出分布与原始大模型完全一致

75%
已验证

70B级别的模型即便经过量化,往往也需要40GB以上显存或多卡配置

75%
已验证

端侧AI在本地芯片上直接完成推理,数据全程留存于设备,响应速度更快且在无网络环境下同样可用

65%
已验证

每写出一个token,Mac需要从内存中读取整个模型,因此内存带宽成为推理速度的根本上限

65%
已验证

运行本地AI模型通常需要8-16GB以上内存、较新的CPU或支持GPU加速的显卡以及足够存储空间

65%
已验证

大模型推理中每生成一个token都需要从显存中读取全部模型权重,速度瓶颈本质是数据搬运问题而非计算问题

65%
已验证

自回归文本生成属于内存带宽受限任务,内存带宽而非算力峰值是真正的性能瓶颈

65%
待验证

内存带宽是大模型推理延迟的主要瓶颈之一,计算单元往往处于等待数据加载状态,这一现象称为「内存墙」

60%
待验证

自回归解码具有串行特性,每个Token的生成依赖前一个Token,难以并行

60%
待验证

当模型参数量减半,单次前向传播需要搬运的字节数近似减半,在显存带宽不变的前提下每秒可生成的 token 数接近翻倍。

50%
待验证

MoE架构中路由切换会引入额外的数据搬运和同步开销,调用越密集,CPU与内存带宽越容易成为瓶颈。

50%
待验证

随着模型参数规模持续攀升,内存带宽和容量往往比算力更早成为瓶颈。

50%
待验证

在AI芯片中,内存容量与内存带宽往往是决定实际性能的关键因素,而不只是峰值算力。

50%
待验证

内存带宽衡量单位时间能传输多少数据,内存延迟衡量一次访问需要等多久,两者对性能的影响路径完全不同。

50%
待验证

推理过程并非持续占用全部内存带宽:在两次请求之间,内存可能处于空闲状态。

50%
待验证

在AI负载中,尤其是大模型推理阶段,内存带宽往往比纯算力更能决定实际性能,因为模型参数需要频繁在内存与计算单元之间搬运,带宽不足会导致计算单元空转。

50%

来源文章