[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
4-bit量化 / 优化器状态量化
4-bit优化器状态量化
将优化器状态(如AdamW的一阶矩和二阶矩)从32-bit压缩到4-bit的技术,旨在降低训练大模型时的显存开销
来源文章
4-bit AdamW优化器量化新思路:在预条件子空间做舍入
10月13日