DAQ
一种针对脉冲Transformer的训练后量化方法,通过校准量化器使量化后神经元的放电决策与浮点参考模型对齐,支持4位权重和膜变量量化,用于降低存储与计算开销。
时间轴 (近 90 天)
DAQ(Decision-Aligned Post-Training Quantization)是一种针对脉冲Transformer的训练后量化方法,通过校准量化器以对齐神经元放电决策。
DAQ方法在4位权重和膜变量量化下实现了高效压缩与能耗降低。
DAQ将量化器的校准目标从最小化数值误差转变为对齐放电决策,使量化后的神经元放电决策与浮点参考模型的放电决策尽可能一致。
DAQ分析了量化器误差如何影响决策边界处的放电,以及这些误差如何在循环神经元中随时间步传播。
DAQ构建了一个目标函数,鼓励量化后的膜变量沿着量化模型自身的状态轨迹,保持在参考放电区域内,从而减少量化对脉冲发放模式的破坏。
在FE108数据集上,DAQ结合SDTrack模型取得了58.8%的AUC和90.9%的PR,同时降低了66.2%的能耗。
DAQ适用于图像分类、语义分割和事件跟踪等多种任务。
DAQ的思想或许可以扩展到更低位宽(如2位)或更复杂的脉冲架构中。
全部知识事实 (8)
DAQ(Decision-Aligned Post-Training Quantization)是一种针对脉冲Transformer的训练后量化方法,通过校准量化器以对齐神经元放电决策。
50%待验证DAQ方法在4位权重和膜变量量化下实现了高效压缩与能耗降低。
50%待验证DAQ将量化器的校准目标从最小化数值误差转变为对齐放电决策,使量化后的神经元放电决策与浮点参考模型的放电决策尽可能一致。
50%待验证DAQ分析了量化器误差如何影响决策边界处的放电,以及这些误差如何在循环神经元中随时间步传播。
50%待验证DAQ构建了一个目标函数,鼓励量化后的膜变量沿着量化模型自身的状态轨迹,保持在参考放电区域内,从而减少量化对脉冲发放模式的破坏。
50%待验证在FE108数据集上,DAQ结合SDTrack模型取得了58.8%的AUC和90.9%的PR,同时降低了66.2%的能耗。
50%待验证DAQ适用于图像分类、语义分割和事件跟踪等多种任务。
50%待验证DAQ的思想或许可以扩展到更低位宽(如2位)或更复杂的脉冲架构中。
50%