概念VRAM Capacity
显存容量
GPU等加速器上专用内存的存储容量,决定单个设备能承载的模型参数量及KV Cache规模
时间轴 (近 90 天)
10月22日
显存容量决定了参数量加上KV Cache后能否装进设备;显存带宽决定了解码阶段每个token生成时权重读取的速度,因而直接决定推理延迟。
待验证50%
10月14日
在AI负载下,瓶颈通常是显存带宽和容量,而非温度,除非过热降频
待验证50%
GPU等加速器上专用内存的存储容量,决定单个设备能承载的模型参数量及KV Cache规模
显存容量决定了参数量加上KV Cache后能否装进设备;显存带宽决定了解码阶段每个token生成时权重读取的速度,因而直接决定推理延迟。
在AI负载下,瓶颈通常是显存带宽和容量,而非温度,除非过热降频