[控场AI]
概念

ResQAdam

一种面向量化感知训练(QAT)的内存高效自适应优化器,仅维护BF16动量,对主奇异子空间坐标应用Adam更新并叠加残差归一化符号更新,显著降低优化器状态内存开销

时间轴 (近 90 天)

11月9日

论文作者观察到,即使只保留QAT动量残差部分的符号,这部分信息仍然有用。

待验证50%
11月9日

ResQAdam只维护一个BF16精度的动量,仅对主奇异子空间的r×r坐标应用Adam更新,并添加从残差计算出的归一化符号更新。

待验证50%
11月9日

ResQAdam对残差部分仅保留符号方向,进行归一化后加到更新中,从而避免存储完整的动量状态。

待验证50%
11月9日

ResQAdam将优化器状态内存相对于AdamW减少了71%至74%。

待验证50%
11月9日

ResQAdam在大多数设置下精度接近AdamW。

待验证50%
11月9日

ResQAdam的训练吞吐量下降不到2%。

待验证50%
11月9日

论文使用两种从头开始的QAT方法和三种QAT微调流程进行评估,并将权重量化到2比特。

待验证50%

全部知识事实 (7)

来源文章