概念
ResQAdam
一种面向量化感知训练(QAT)的内存高效自适应优化器,仅维护BF16动量,对主奇异子空间坐标应用Adam更新并叠加残差归一化符号更新,显著降低优化器状态内存开销
时间轴 (近 90 天)
11月9日
论文作者观察到,即使只保留QAT动量残差部分的符号,这部分信息仍然有用。
待验证50%
11月9日
ResQAdam只维护一个BF16精度的动量,仅对主奇异子空间的r×r坐标应用Adam更新,并添加从残差计算出的归一化符号更新。
待验证50%
11月9日
ResQAdam对残差部分仅保留符号方向,进行归一化后加到更新中,从而避免存储完整的动量状态。
待验证50%
11月9日
ResQAdam将优化器状态内存相对于AdamW减少了71%至74%。
待验证50%
11月9日
ResQAdam在大多数设置下精度接近AdamW。
待验证50%
11月9日
ResQAdam的训练吞吐量下降不到2%。
待验证50%
11月9日
论文使用两种从头开始的QAT方法和三种QAT微调流程进行评估,并将权重量化到2比特。
待验证50%
全部知识事实 (7)
待验证
论文作者观察到,即使只保留QAT动量残差部分的符号,这部分信息仍然有用。
50%待验证ResQAdam只维护一个BF16精度的动量,仅对主奇异子空间的r×r坐标应用Adam更新,并添加从残差计算出的归一化符号更新。
50%待验证ResQAdam对残差部分仅保留符号方向,进行归一化后加到更新中,从而避免存储完整的动量状态。
50%待验证ResQAdam将优化器状态内存相对于AdamW减少了71%至74%。
50%待验证ResQAdam在大多数设置下精度接近AdamW。
50%待验证ResQAdam的训练吞吐量下降不到2%。
50%待验证论文使用两种从头开始的QAT方法和三种QAT微调流程进行评估,并将权重量化到2比特。
50%