概念ternary weights / 三元量化 / 1.58-bit量化
三元权重
一种极低精度神经网络量化方法,将模型所有权重限制为{-1, 0, +1}三种取值,理论上每参数仅需1.58 bit存储,矩阵乘法退化为加减法,可大幅降低存储需求并提升推理速度,需从训练阶段针对性设计
时间轴 (近 90 天)
9月16日
对于0值占主导的三元权重矩阵,其经验熵完全可能落在 1.0~1.3 比特区间
待验证50%
8月5日
三元量化意味着每个权重只有三种取值状态,通常是-1、0、+1
待验证50%