[控场AI]
概念ternary weights / 三元量化 / 1.58-bit量化

三元权重

一种极低精度神经网络量化方法,将模型所有权重限制为{-1, 0, +1}三种取值,理论上每参数仅需1.58 bit存储,矩阵乘法退化为加减法,可大幅降低存储需求并提升推理速度,需从训练阶段针对性设计

时间轴 (近 90 天)

9月16日

对于0值占主导的三元权重矩阵,其经验熵完全可能落在 1.0~1.3 比特区间

待验证50%
8月5日

三元量化意味着每个权重只有三种取值状态,通常是-1、0、+1

待验证50%

全部知识事实 (2)

来源文章