显存是显卡自带的高速内存，模型权重、上下文缓存和中间计算结果都需要存储在显存中，因此显存往往比算力更早成为本地运行大模型的瓶颈。