[控场AI]
概念VRAM Capacity

显存容量

GPU等加速器上专用内存的存储容量,决定单个设备能承载的模型参数量及KV Cache规模

时间轴 (近 90 天)

10月22日

显存容量决定了参数量加上KV Cache后能否装进设备;显存带宽决定了解码阶段每个token生成时权重读取的速度,因而直接决定推理延迟。

待验证50%
10月14日

在AI负载下,瓶颈通常是显存带宽和容量,而非温度,除非过热降频

待验证50%

全部知识事实 (2)

来源文章