[控场AI]
模型Decision-Aligned Post-Training Quantization

DAQ

一种针对脉冲Transformer的训练后量化方法,通过校准量化器使量化后神经元的放电决策与浮点参考模型对齐,支持4位权重和膜变量量化,用于降低存储与计算开销。

时间轴 (近 90 天)

11月18日

DAQ(Decision-Aligned Post-Training Quantization)是一种针对脉冲Transformer的训练后量化方法,通过校准量化器以对齐神经元放电决策。

待验证50%
11月18日

DAQ方法在4位权重和膜变量量化下实现了高效压缩与能耗降低。

待验证50%
11月18日

DAQ将量化器的校准目标从最小化数值误差转变为对齐放电决策,使量化后的神经元放电决策与浮点参考模型的放电决策尽可能一致。

待验证50%
11月18日

DAQ分析了量化器误差如何影响决策边界处的放电,以及这些误差如何在循环神经元中随时间步传播。

待验证50%
11月18日

DAQ构建了一个目标函数,鼓励量化后的膜变量沿着量化模型自身的状态轨迹,保持在参考放电区域内,从而减少量化对脉冲发放模式的破坏。

待验证50%
11月18日

在FE108数据集上,DAQ结合SDTrack模型取得了58.8%的AUC和90.9%的PR,同时降低了66.2%的能耗。

待验证50%
11月18日

DAQ适用于图像分类、语义分割和事件跟踪等多种任务。

待验证50%
11月18日

DAQ的思想或许可以扩展到更低位宽(如2位)或更复杂的脉冲架构中。

待验证50%

全部知识事实 (8)

来源文章