哈达玛变换：用加减法替代乘法的深度学习轻量化技术详解

深度学习中的乘法瓶颈问题

在深度学习模型中，矩阵乘法几乎无处不在。从卷积神经网络到如今参数量动辄千亿的大语言模型（LLM），海量的乘加运算构成了推理与训练的算力主体。然而，正是这些密集的乘法运算，成为了模型部署在移动端、边缘设备等资源受限场景下的最大障碍。

在现代深度学习架构中，矩阵乘法（GEMM, General Matrix Multiply）占据了绝大部分计算时间。以Transformer架构为例，其自注意力机制中的Q、K、V投影以及前馈网络层，本质上都是大规模矩阵乘法。Transformer架构自2017年由Vaswani等人在《Attention Is All You Need》中提出以来，已成为现代AI的基础架构。其核心的自注意力机制通过Q=XW_Q、K=XW_K、V=XW_V三个线性投影将输入映射到查询、键、值空间，随后计算注意力权重Attention(Q,K,V)=softmax(QK^T/√d_k)V。仅QK^T这一步，对于序列长度为n、隐藏维度为d的模型，就需要O(n²d)次乘加运算。而在GPT-4级别的模型中，隐藏维度可达12288，层数超过100，每层包含多个GEMM操作，这解释了为何单次推理的计算量可达数万亿次浮点运算。

一个拥有700亿参数的大语言模型，单次推理可能涉及数万亿次浮点乘加运算。矩阵乘法之所以成为深度学习的核心瓶颈，根源在于现代神经网络的基本构建块——线性变换。无论是全连接层的 y=Wx+b，还是卷积层（可展开为im2col后的矩阵乘法），亦或是Transformer中多头注意力的QK^T计算，本质上都归结为矩阵乘法。根据NVIDIA的profiling数据，在GPT-3级别模型的推理过程中，GEMM操作占据了总计算时间的60%-80%。这也解释了为何从Google的TPU到NVIDIA的Tensor Core，硬件厂商都将矩阵乘加单元作为AI芯片设计的核心。

从硬件层面看，一个32位浮点乘法器的晶体管数量约为同位宽加法器的4-5倍，能耗差异更为显著——在典型的45nm工艺节点下，一次32位浮点乘法的能耗约为一次加法的30倍以上。乘法器能耗远高于加法器的根本原因在于其电路复杂度。加法器的核心是进位传播链，复杂度为O(n)（n为位宽）。而乘法器通常采用阵列结构（如Wallace树或Booth编码），需要生成n个部分积并逐步求和，复杂度为O(n²)级别的门电路。更多的晶体管意味着更多的动态功耗（与开关频率和负载电容成正比）和静态漏电流。在先进工艺节点（7nm、5nm）中，虽然绝对能耗下降，但乘法与加法的相对能耗比仍维持在5-30倍范围内，具体取决于数据精度和电路优化程度。

乘法运算不仅在硬件上占用更多的晶体管面积、消耗更高的功耗，其执行延迟也显著高于加减运算。因此，一个自然而然的问题浮现：我们能否在尽量减少甚至完全避免乘法的情况下，依然保持深度学习模型的表达能力？

近期在 Reddit 上引发讨论的一项技术给出了颇具启发性的答案——借助哈达玛变换（Hadamard Transform），可以将大量繁重的矩阵乘法替换为仅由加法和减法构成的运算，从而大幅降低计算成本。

哈达玛变换的核心原理：为什么能省掉乘法

哈达玛矩阵的特殊结构

哈达玛变换是一种基于哈达玛矩阵的正交变换。哈达玛矩阵的元素只有 +1 和 -1 两种取值，这意味着当一个向量与哈达玛矩阵相乘时，本质上只涉及元素的加法与减法，而不需要真正的浮点乘法。

从数学角度详细展开，哈达玛矩阵（Hadamard Matrix）记为H_n，其中n为矩阵阶数（通常为2的幂次）。它满足正交性条件 H_n · H_n^T = n · I_n，即矩阵与其转置的乘积等于n倍的单位矩阵。最简单的2阶哈达玛矩阵为 [[1,1],[1,-1]]，更高阶的矩阵通过Sylvester构造法递归生成：H_{2n} = [[H_n, H_n],[H_n, -H_n]]。正交性意味着哈达玛变换是可逆的，变换不会丢失信息，这对于保持神经网络的表达能力至关重要。

正交变换在机器学习中具有独特地位，因为它保持向量的L2范数和向量间的夹角不变（即保距保角性质）。这意味着正交变换不会改变数据的几何结构——点之间的距离关系、分类边界等都保持不变。在神经网络中，这一性质保证了插入正交变换后模型的输出完全不变（在浮点精度下）。此外，正交矩阵的条件数恒为1，这意味着它不会放大或缩小数值误差，对数值稳定性有天然优势。这也是为什么哈达玛旋转用于量化预处理时，不会引入额外的数值不稳定性。

由于其元素仅为±1，在数字电路中可以通过简单的异或门和加法器实现，完全绕过了乘法器。

更妙的是，哈达玛变换存在类似快速傅里叶变换（FFT）的快速算法——快速哈达玛变换（Fast Walsh-Hadamard Transform, FWHT），可以将原本 O(n²) 的复杂度降低到 O(n log n)。FWHT的核心思想与FFT类似，利用哈达玛矩阵的递归结构将计算分解为多层蝶形运算。对于长度为n的向量，直接乘以哈达玛矩阵需要O(n²)次加减法，而FWHT通过log₂(n)层蝶形分解，每层执行n/2次加法和n/2次减法，总计算量为O(n·log n)。例如，处理一个1024维向量，直接方法需要约100万次运算，而FWHT仅需约10240次——接近100倍的加速。这种分解还天然具有并行友好性，非常适合SIMD指令集和硬件流水线实现。

值得一提的是，FWHT与FFT有着深刻的数学渊源。两者都属于广义的快速正交变换家族，利用分治思想将O(n²)的矩阵-向量乘法降低到O(n log n)。FFT处理的是复数域上的DFT矩阵（元素为复数根e^{-2πi·k/n}），需要复数乘法；而FWHT处理的是实数域上仅含±1的哈达玛矩阵，完全不需要乘法。从信号处理的角度看，FFT将信号分解到不同频率的正弦/余弦基上，而哈达玛变换将信号分解到Walsh函数基上——Walsh函数只取±1值，可以视为"方波版的正弦波"。Walsh函数最早由美国数学家Joseph L. Walsh在1923年提出，是一组完备的正交函数系。与正弦/余弦函数不同，Walsh函数仅取+1和-1两个值，在时间轴上呈现方波形态。Walsh函数按Sequency（即符号变化次数）排序时，形成了一种"数字频率"的概念——sequency越高，方波切换越频繁，类比于正弦波的频率越高。哈达玛矩阵的行向量恰好对应不同sequency的Walsh函数采样值。这一函数系在通信领域（如CDMA扩频通信）和数字信号处理中有广泛应用，其码分复用能力正是基于Walsh序列的正交性。这种结构上的简洁性使得FWHT在硬件实现上比FFT更为轻量。

哈达玛变换与传统矩阵乘法的对比

传统的全连接层或注意力层中的权重矩阵，包含大量任意实数值，每一次前向传播都要执行数以百万计的乘加操作。而如果将部分线性变换用哈达玛结构近似或替代，那么这些运算就可以退化为符号翻转与累加，硬件实现上极为友好。

对于低功耗芯片、DSP 乃至专用 ASIC 而言，去除乘法器意味着更小的芯片面积、更低的能耗以及更快的响应速度。

哈达玛变换的实际应用场景

移动端与边缘设备推理加速

该方法在移动边缘设备上的加速潜力尤为突出。手机、可穿戴设备、物联网终端等场景对功耗和延迟极为敏感，无法承受庞大的乘法运算负担。通过引入哈达玛变换替代部分密集运算，可以在几乎不增加硬件成本的前提下提升推理效率，让更复杂的AI模型能够真正跑在端侧。

大模型超低比特量化中的关键作用

更值得关注的是哈达玛变换在**LLM超低比特量化（ultra-low-bit quantization）**中的作用。业界为了让大模型能够在有限显存下运行，不断探索将权重压缩至 4-bit、2-bit 甚至更低。

深度学习量化技术经历了从FP32到FP16/BF16（半精度）、INT8、INT4直至二值/三值网络的演进历程。早期的量化方法如Google的量化感知训练（QAT）主要针对INT8精度，在精度损失可控的前提下实现2-4倍推理加速。随着LLM时代到来，GPTQ、AWQ、SqueezeLLM等方法将量化推进到4-bit甚至3-bit领域。量化方法主要分为两大类：量化感知训练（QAT）和后训练量化（PTQ）。QAT在训练过程中模拟量化效应，通过直通估计器（Straight-Through Estimator）处理量化操作的不可导性，使模型学会适应低精度表示。PTQ则在模型训练完成后直接量化权重和/或激活，无需重新训练，适合大模型场景（因为重新训练成本极高）。GPTQ属于PTQ方法，通过逐层最优量化和Hessian信息指导的权重调整实现高质量4-bit量化。AWQ（Activation-aware Weight Quantization）则观察到保护重要权重通道（由激活值大小决定）可显著降低量化损失。超低比特量化（2-bit及以下）面临的核心挑战是量化误差的指数级增长——每减少1-bit，量化级别减半，表示精度急剧下降。哈达玛旋转方法的出现为突破这一瓶颈提供了新的数学工具，与这些已有技术互补，可以作为量化前的预处理步骤集成到现有流程中。

然而，极端量化往往会因为**离群值（outliers）**导致精度崩溃。在LLM量化中，离群值是指激活张量或权重中数值远超正常范围的极端值。研究发现，在Transformer模型中，某些特定通道的激活值可能比其他通道大100倍以上。当使用均匀量化（uniform quantization）将浮点数映射到低比特整数时，这些离群值会"霸占"大部分量化区间，导致正常范围内的数值被压缩到极少的量化级别中，产生巨大的量化误差。例如，如果一个通道的值域为[-1, 100]，而4-bit量化只有16个级别，则[-1, 1]范围内的大量正常值只能分配到1-2个量化级别，信息严重丢失。

哈达玛变换在这里扮演了一个巧妙的角色：它能够对激活值和权重进行旋转（rotation），将分布中的离群值"打散"并平滑化，使得量化后的分布更加均匀，从而显著减小量化误差。其数学直觉在于，哈达玛变换作为正交变换，本质上是在高维空间中对向量进行旋转。当激活值中存在离群值时，意味着能量集中在少数维度上。哈达玛旋转会将每个维度的值重新分配到所有维度——具体来说，变换后每个输出元素都是所有输入元素的等权加减组合。根据中心极限定理的直觉，这种混合操作会使得变换后的分布趋向均匀和对称，离群值的能量被"稀释"到所有维度中。由于正交变换保持向量范数不变，信息不会丢失，但分布变得更适合均匀量化。

诸如 QuaRot、SpinQuant 等前沿量化方法，正是利用了哈达玛旋转这一思想来实现高质量的低比特LLM推理。具体而言，QuaRot（Quantization with Rotation）采用固定的哈达玛矩阵作为旋转矩阵，无需额外训练即可应用。它利用了一个关键观察：在Transformer中连续线性层之间插入正交矩阵R，由于W₂·R·R^T·W₁ = W₂·W₁（正交矩阵的逆等于转置），可以将旋转"吸收"到相邻的权重矩阵中，不改变模型输出。SpinQuant则更进一步，通过Cayley优化在正交矩阵空间中搜索最优旋转，使用少量校准数据微调旋转矩阵，以获得比固定哈达玛矩阵更好的量化效果。

SpinQuant中使用的Cayley优化是在正交矩阵流形（Stiefel流形）上进行优化的经典方法。由于正交矩阵空间不是欧氏空间（它是一个曲面流形），标准梯度下降无法保证优化过程中矩阵始终保持正交性。Cayley变换提供了一种优雅的参数化：通过反对称矩阵A（满足A^T=-A），可以用 Q=(I-A)(I+A)^{-1} 生成正交矩阵Q。这样，对A的无约束优化等价于在正交矩阵空间中的约束优化，避免了复杂的流形投影步骤。两者代表了"零成本固定旋转"和"轻量优化旋转"两种不同的工程取舍。

技术权衡与工程落地考量

模型表达能力的取舍

用固定结构的哈达玛矩阵替代自由的可学习权重，虽然省去了乘法，但也牺牲了一定的模型灵活性。哈达玛矩阵是固定的正交结构，无法像普通权重那样任意拟合数据。因此在实际应用中，往往需要将哈达玛变换与少量可学习参数（如缩放因子、对角矩阵）结合，才能在效率与精度之间取得平衡。

硬件适配与工程挑战

尽管理论上加减运算比乘法便宜，但要真正发挥其优势，还需要底层硬件与算子库的配合。通用GPU的乘加单元（MAC）已经高度优化，单纯替换算法未必能在现有硬件上立刻体现出成倍加速。

现代GPU（如NVIDIA的A100、H100）内部集成了大量Tensor Core，这些专用计算单元针对矩阵乘加运算进行了深度优化，能够在单个时钟周期内完成多个乘加操作。在这些硬件上，乘法和加法的吞吐量差异已经被硬件设计大幅缩小。此外，GPU的内存带宽往往是更大的瓶颈——即便计算变快了，如果数据搬运速度跟不上，整体性能提升有限。

理解哈达玛变换在GPU上的实际收益，需要引入Roofline性能模型的概念。该模型将计算任务划分为计算受限（compute-bound）和内存带宽受限（memory-bound）两类。关键指标是算术强度（Arithmetic Intensity），即每字节数据传输对应的浮点运算次数。当算术强度低于硬件的"屋脊点"（ridge point）时，性能受限于内存带宽。以NVIDIA A100 GPU为例，其峰值计算能力为312 TFLOPS（TF32），但HBM2e带宽仅为2 TB/s，屋脊点约为156 FLOP/Byte。LLM推理在小batch size下典型算术强度仅为几十FLOP/Byte，远低于屋脊点，因此是典型的内存带宽受限场景。

对于一个参数量为70B的模型，即使量化到4-bit，模型权重也占35GB，单次推理需要将全部权重从显存搬运到计算单元。在batch size=1的场景下（典型的实时推理），计算量相对较小，主要时间花在等待数据传输上。哈达玛变换配合量化将数据位宽从16-bit降低到4-bit或2-bit，直接将内存带宽需求降低4-8倍，这才是其在GPU上真正的性能收益来源。

因此，哈达玛变换在通用GPU上的加速效果往往低于理论预期，其真正的优势更多体现在降低数据精度（配合量化）从而减少内存带宽需求，以及在缺乏专用乘法器的轻量级芯片上。真正的红利往往出现在专用加速器、边缘芯片以及内存带宽受限的量化推理场景中。

总结：哈达玛变换为AI轻量化提供务实路径

"无乘法的深度学习"听起来像是一个大胆的口号，但其背后的哈达玛变换思想，实际上代表了AI轻量化研究中一条务实而有效的路径。它既可用于端侧的推理加速，也已经在大模型的超低比特量化中崭露头角。

随着大模型规模持续膨胀、部署成本水涨船高，如何用更少的算力做更多的事，将是长期的核心命题。哈达玛变换这类"以加减代乘法"的技巧，或许不会完全取代传统矩阵乘法，但它为高效AI设计提供了一个值得深入挖掘的工具箱。对于关注模型压缩、边缘部署与量化推理的工程师而言，理解并掌握这类变换技巧，正变得愈发重要。

核心要点

核心要点