[控场AI]
概念正交变换预处理 / rotation matrix

旋转矩阵

在模型量化中用于预处理权重的正交变换技术,通过将权重能量从少数极端维度分散到更多维度,减少量化误差,提升低比特量化精度,来源于BitNet、QuIP#等研究

时间轴 (近 90 天)

10月4日

Prism ML在转换为三值前应用旋转矩阵(正交变换)平滑分散权重异常值,使共享scale更合理,这一思路来源于BitNet、QuIP#等研究

待验证50%

全部知识事实 (1)

来源文章