[控场AI]
概念4-bit量化 / 优化器状态量化

4-bit优化器状态量化

将优化器状态(如AdamW的一阶矩和二阶矩)从32-bit压缩到4-bit的技术,旨在降低训练大模型时的显存开销

来源文章