概念ternary quantization / 三值化
三值量化
一种极端量化方法，将神经网络权重限制为-1、0、+1三个离散值，配合共享缩放因子保留权重量级，每权重约1.58-1.7比特，是BitNet等研究的核心技术
时间轴 (近 90 天)
10月4日
Bonsai采用三值量化，将每个权重压缩为-1、0或+1三个值，每128个权重共享一个缩放因子，每个权重约需1.7比特，比16位全精度小约9倍
待验证50%
10月3日
三值量化将权重取-1、0、+1三个值，可用加减法替代乘法运算以降低硬件计算压力，与微软的BitNet系列研究方向相关
待验证50%
9月17日
三值量化每个权重理论上仅需约1.58比特（log₂3）即可表示
待验证50%