[控场AI]
· 3 分钟阅读· 1,873 字

脉冲Transformer量化新突破:DAQ实现4位权重与膜变量

脉冲Transformer量化新突破:DAQ实现4位权重与膜变量

DAQ通过校准量化器对齐神经元放电决策,实现脉冲Transformer的4位高效压缩与能耗降低。

脉冲Transformer结合注意力机制与稀疏脉冲通信,在边缘计算中潜力巨大,但权重和膜变量的存储与计算开销限制了其部署。传统训练后量化(PTQ)最小化数值误差,却忽略了脉冲神经元对量化误差的敏感性,尤其在决策边界附近易导致放电模式破坏。本文提出的Decision-Aligned Post-Training Quantization(DAQ)将校准目标从数值误差转向放电决策对齐,通过分析量化误差在决策边界和时间步上的传播,构建目标函数鼓励量化膜变量保持在参考放电区域内。实验表明,DAQ在4位权重和膜变量下有效,在FE108数据集上结合SDTrack达到58.8% AUC和90.9% PR,同时降低66.2%能耗,适用于图像分类、语义分割和事件跟踪等多任务。

脉冲神经网络(SNN)因其稀疏脉冲通信和低功耗特性,在边缘计算场景中备受关注。而脉冲Transformer进一步结合了注意力机制的表示学习能力,展现出强大的潜力。然而,其权重和膜变量仍然带来可观的存储与计算开销。本文介绍的Decision-Aligned Post-Training Quantization(DAQ)方法,通过校准量化器以对齐神经元放电决策,在4位权重和膜变量下实现了高效压缩与能耗降低。

DAQ方法概览

脉冲Transformer的量化挑战

脉冲Transformer结合了基于注意力的表示学习和稀疏脉冲通信,但权重和膜变量(membrane variables)的存储与计算开销依然显著。训练后量化(PTQ)是一种实用的降低开销的方法,但在权重和膜变量量化下保持神经元放电行为仍然具有挑战性。

传统的量化方法通常关注最小化权重或激活的均方误差,但脉冲神经元的放电决策对量化误差非常敏感。尤其是在决策边界附近,微小的量化误差可能导致神经元错误地发放或抑制脉冲,进而影响整个网络的信息传递。

膜变量(membrane variables) 是脉冲神经元(如LIF模型)中的核心状态量,用于累积输入电流并决定是否发放脉冲。当膜电位超过阈值时,神经元发放脉冲并重置;否则保持静息。因此,膜变量承载了神经元的时间积分历史,其量化误差会直接影响放电时刻与频率。在脉冲Transformer中,膜变量通常与权重同等重要,因为注意力机制中的查询、键、值计算均依赖脉冲序列,而膜变量的微小偏差会通过时间步传播并累积,导致放电模式偏离。

训练后量化(PTQ) 是一种在模型训练完成后将浮点权重和激活转换为低比特整数的技术,无需重新训练或微调。其典型流程包括:收集校准数据、统计激活范围、确定量化参数(缩放因子和零点),然后应用量化。PTQ的优势在于部署便捷、计算开销低,但难点在于低比特下量化误差会显著影响模型输出,尤其是对脉冲神经元这类非线性动态系统。

DAQ的核心思路:对齐放电决策

DAQ的关键创新在于将量化器的校准目标从“最小化数值误差”转变为“对齐放电决策”。具体来说,DAQ校准量化器,使得量化后的神经元放电决策与浮点参考模型的放电决策尽可能一致。

该方法分析了量化器误差如何影响决策边界处的放电,以及这些误差如何在循环神经元中随时间步传播。基于这一分析,DAQ构建了一个目标函数,鼓励量化后的膜变量沿着量化模型自身的状态轨迹,保持在参考放电区域内。这种对齐策略有效地减少了量化对脉冲发放模式的破坏。

决策边界(decision boundary) 在脉冲神经元中指的是膜电位恰好等于发放阈值的状态。当膜电位接近阈值时,微小的量化扰动即可导致神经元错误地发放或抑制脉冲。DAQ通过分析量化误差在决策边界处的效应,构建目标函数使量化后的膜变量在参考放电区域内波动,从而减少误发放。这一思想借鉴了分类任务中的边界对齐策略,但针对脉冲时序动态进行了专门设计。

实验验证:多任务上的有效性

研究者在多个脉冲Transformer架构上进行了实验,覆盖图像分类、语义分割和基于事件的跟踪任务。实验结果表明,DAQ在4位权重和膜变量下依然有效。

在FE108数据集上,DAQ结合SDTrack模型取得了58.8%的AUC和90.9%的PR,同时降低了66.2%的能耗。这一结果展示了DAQ在保持任务性能的同时显著降低能耗的潜力。

意义与展望

DAQ为脉冲Transformer的实用化部署提供了新的思路。通过决策对齐的PTQ方法,脉冲Transformer可以在保持放电行为一致性的前提下,大幅压缩模型并降低能耗。这对于资源受限的边缘设备尤为重要,有望推动脉冲神经网络在实时视觉任务中的应用。

未来,DAQ的思想或许可以扩展到更低位宽(如2位)或更复杂的脉冲架构中,进一步探索量化与脉冲动态之间的相互作用。

关键要点

  • DAQ是一种针对脉冲Transformer的训练后量化方法,通过校准量化器对齐神经元放电决策。
  • 该方法在4位权重和膜变量下有效,在FE108数据集上达到58.8% AUC和90.9% PR,能耗降低66.2%。
  • DAQ适用于图像分类、语义分割和事件跟踪等多种任务。
  • 该方法分析了量化误差在决策边界和时间步上的传播,为量化感知的脉冲网络设计提供了见解。
分享:

相关推荐