概念BitLinear层

BitLinear

BitNet中用于替换标准线性层的模块，权重被量化为1-bit或1.58-bit三值。

时间轴 (近 90 天)

10月17日

BitNet用BitLinear替换Transformer中的大部分Linear层，权重为±1（每权重1位），激活值为INT8。

待验证50%

10月17日

BitLinear保留两个缩放因子，分别用于权重和激活值，以恢复量化丢失的尺度信息。

待验证50%

10月12日

1-bit LLM 通常需要在训练阶段采用量化感知方式（例如微软的 BitNet 架构与 BitLinear 层），而非训练后简单四舍五入。

待验证50%

BitNet用BitLinear替换Transformer中的大部分Linear层，权重为±1（每权重1位），激活值为INT8。

BitLinear保留两个缩放因子，分别用于权重和激活值，以恢复量化丢失的尺度信息。

1-bit LLM 通常需要在训练阶段采用量化感知方式（例如微软的 BitNet 架构与 BitLinear 层），而非训练后简单四舍五入。