概念块对角Hadamard变换
Hadamard变换
一种正交线性变换，可将向量能量均匀分散到各维度，在量化中用于摊薄离群通道能量、降低量化误差。
时间轴 (近 90 天)
10月19日
对INT4缓存施加块对角Hadamard变换会带来约0.20的perplexity增加，但换取缓存量化误差的下降。
待验证50%
一种正交线性变换，可将向量能量均匀分散到各维度，在量化中用于摊薄离群通道能量、降低量化误差。
对INT4缓存施加块对角Hadamard变换会带来约0.20的perplexity增加，但换取缓存量化误差的下降。