概念守护式矩压缩
Guarded Moment Compression
一种Adam优化器状态压缩方法，通过共享梯度界验证压缩后解码的矩能否在容差内复现原生FP32更新，仅对安全坐标接受压缩
时间轴 (近 90 天)
11月3日
“守护式矩压缩”（Guarded Moment Compression）通过共享梯度界来保证压缩后解码的矩能够复现原生FP32的更新，误差在容差τ内（单位为学习率），否则该坐标精确存储。
待验证50%
11月3日
守护式压缩流程包括编码时对每个矩使用8位对数编码并检查解码后的更新是否在容差内，若不在则存储原始FP32值；恢复时解码矩并计算更新，保证恢复后的第一次更新与原始更新在容差内一致。
待验证50%
11月3日
守护式压缩的编码和恢复总时间比守护式BF16长2.3-2.6倍，但比守护式块状8位更短。
待验证50%
11月3日
联合搜索两个矩的编码在码率上仅多节省不到0.001%，但编解码时间增加6%，因此逐矩舍入已经足够。
待验证50%
11月3日
当前守护式压缩的精度保证仅覆盖在固定Torch操作模型下的第一次恢复更新，后续训练行为（如多步更新）的稳定性仍依赖经验验证。
待验证50%
全部知识事实 (5)
待验证
“守护式矩压缩”（Guarded Moment Compression）通过共享梯度界来保证压缩后解码的矩能够复现原生FP32的更新，误差在容差τ内（单位为学习率），否则该坐标精确存储。
50%待验证守护式压缩流程包括编码时对每个矩使用8位对数编码并检查解码后的更新是否在容差内，若不在则存储原始FP32值；恢复时解码矩并计算更新，保证恢复后的第一次更新与原始更新在容差内一致。
50%待验证守护式压缩的编码和恢复总时间比守护式BF16长2.3-2.6倍，但比守护式块状8位更短。
50%待验证联合搜索两个矩的编码在码率上仅多节省不到0.001%，但编解码时间增加6%，因此逐矩舍入已经足够。
50%待验证当前守护式压缩的精度保证仅覆盖在固定Torch操作模型下的第一次恢复更新，后续训练行为（如多步更新）的稳定性仍依赖经验验证。
50%