在4GB显存上运行智能NPC对话所使用的模型是经过量化压缩的小参数模型，一个量化到4-bit的30亿参数模型权重占用可压到2GB以内。