概念4-bit训练 / 端到端4-bit量化训练
端到端4-Bit训练
一种将模型权重、激活值和梯度全部量化为4-bit并在整个训练流程中保持低精度的训练方法,旨在大幅降低计算和存储开销
时间轴 (近 90 天)
11月14日
端到端4-Bit训练旨在将模型权重、激活值甚至梯度都量化为4-bit,并在整个训练流程(前向、反向、优化器更新)中保持低精度。
待验证50%
11月14日
在4-bit这种极低精度下,STE的偏差会被放大,因此端到端4-bit方案往往需要更精细的梯度修正策略。
待验证50%