概念正交变换预处理 / rotation matrix
旋转矩阵
在模型量化中用于预处理权重的正交变换技术,通过将权重能量从少数极端维度分散到更多维度,减少量化误差,提升低比特量化精度,来源于BitNet、QuIP#等研究
时间轴 (近 90 天)
10月4日
Prism ML在转换为三值前应用旋转矩阵(正交变换)平滑分散权重异常值,使共享scale更合理,这一思路来源于BitNet、QuIP#等研究
待验证50%
在模型量化中用于预处理权重的正交变换技术,通过将权重能量从少数极端维度分散到更多维度,减少量化误差,提升低比特量化精度,来源于BitNet、QuIP#等研究
Prism ML在转换为三值前应用旋转矩阵(正交变换)平滑分散权重异常值,使共享scale更合理,这一思路来源于BitNet、QuIP#等研究