模型Zero-Inclusive Preconditioner-space Stochastic Rounding
ZIP-SR
一种4-bit AdamW优化器状态量化方法，在二阶矩码本中保留零，并在预条件子空间计算随机舍入概率
时间轴 (近 90 天)
10月13日
论文提出的 ZIP-SR 方法在二阶矩码本中保留零，并将随机舍入的概率计算放在预条件子空间完成。
待验证50%
10月13日
ZIP-SR 与 ZE-EDEN 两种方法都用 4-bit NormalFloat（NF4）处理一阶矩，并在训练最后 10% 阶段对 LM-head 的一阶矩施加针对性的随机舍入。
待验证50%
10月13日
与 TorchAO 的 4-bit AdamW 相比，ZIP-SR 与 ZE-EDEN 在每一个评测规模上都缩小了相对 32-bit AdamW 的平均验证损失差距，最大差距缩减幅度达到 70%。
待验证50%
10月13日
ZIP-SR 与 ZE-EDEN 在'码本是否包含零'上做出相反选择却都能改善结果，说明关键不在零本身，而在于是否对预条件子失真做了显式补偿。
待验证50%
全部知识事实 (4)
待验证
论文提出的 ZIP-SR 方法在二阶矩码本中保留零，并将随机舍入的概率计算放在预条件子空间完成。
50%待验证ZIP-SR 与 ZE-EDEN 两种方法都用 4-bit NormalFloat（NF4）处理一阶矩，并在训练最后 10% 阶段对 LM-head 的一阶矩施加针对性的随机舍入。
50%待验证与 TorchAO 的 4-bit AdamW 相比，ZIP-SR 与 ZE-EDEN 在每一个评测规模上都缩小了相对 32-bit AdamW 的平均验证损失差距，最大差距缩减幅度达到 70%。
50%待验证ZIP-SR 与 ZE-EDEN 在'码本是否包含零'上做出相反选择却都能改善结果，说明关键不在零本身，而在于是否对预条件子失真做了显式补偿。
50%