模型Zero-Excluding EDEN calibration
ZE-EDEN
一种4-bit AdamW优化器状态量化方法，使用排除零的二阶矩码本，并对量化后的二阶矩块重缩放以缓解预条件子失真
时间轴 (近 90 天)
10月13日
论文提出的 ZE-EDEN 方法使用排除零的二阶矩码本，并对量化后的二阶矩块做重缩放以缓解正量化下限造成的预条件子失真。
待验证50%
10月13日
ZIP-SR 与 ZE-EDEN 两种方法都用 4-bit NormalFloat（NF4）处理一阶矩，并在训练最后 10% 阶段对 LM-head 的一阶矩施加针对性的随机舍入。
待验证50%
10月13日
与 TorchAO 的 4-bit AdamW 相比，ZIP-SR 与 ZE-EDEN 在每一个评测规模上都缩小了相对 32-bit AdamW 的平均验证损失差距，最大差距缩减幅度达到 70%。
待验证50%
10月13日
ZIP-SR 与 ZE-EDEN 在'码本是否包含零'上做出相反选择却都能改善结果，说明关键不在零本身，而在于是否对预条件子失真做了显式补偿。
待验证50%
全部知识事实 (4)
待验证
论文提出的 ZE-EDEN 方法使用排除零的二阶矩码本，并对量化后的二阶矩块做重缩放以缓解正量化下限造成的预条件子失真。
50%待验证ZIP-SR 与 ZE-EDEN 两种方法都用 4-bit NormalFloat（NF4）处理一阶矩，并在训练最后 10% 阶段对 LM-head 的一阶矩施加针对性的随机舍入。
50%待验证与 TorchAO 的 4-bit AdamW 相比，ZIP-SR 与 ZE-EDEN 在每一个评测规模上都缩小了相对 32-bit AdamW 的平均验证损失差距，最大差距缩减幅度达到 70%。
50%待验证ZIP-SR 与 ZE-EDEN 在'码本是否包含零'上做出相反选择却都能改善结果，说明关键不在零本身，而在于是否对预条件子失真做了显式补偿。
50%