概念
DartQuant
一种学习型正交旋转量化方法,通过校准阶段迭代优化旋转矩阵来提升量化效果,但显存占用高、耗时长,在实际部署中构成较大负担
时间轴 (近 90 天)
10月15日
现有正交变换方法大致分两类:数据无关的固定变换(如Hadamard旋转)和校准阶段学习出来的旋转矩阵(如SpinQuant和DartQuant)。
待验证50%
10月15日
学习型旋转方法(如SpinQuant和DartQuant)在量化前需要反复迭代优化旋转矩阵,显存占用高、耗时长。
待验证50%
一种学习型正交旋转量化方法,通过校准阶段迭代优化旋转矩阵来提升量化效果,但显存占用高、耗时长,在实际部署中构成较大负担
现有正交变换方法大致分两类:数据无关的固定变换(如Hadamard旋转)和校准阶段学习出来的旋转矩阵(如SpinQuant和DartQuant)。
学习型旋转方法(如SpinQuant和DartQuant)在量化前需要反复迭代优化旋转矩阵,显存占用高、耗时长。