Phase-HDC
一种用于超维分类器的无记忆训练方法，以梯度阈值替代优化器历史动量，每次参数更新最多转动一步，显著降低训练内存占用
时间轴 (近 90 天)
arXiv论文《Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning》提出了一种用梯度阈值取代优化器历史的无记忆训练方法
超维分类器的可学习参数是低比特的角度值，论文称之为相位记忆（phase memory）
Phase-HDC对每个角度参数在每次更新时最多转动一步，方向与当前梯度符号相反，且只在梯度足够大时才改动
论文证明Phase-HDC的更新规则是某个一阶损失模型的精确解，在该模型中每个被改动的参数都要付出固定成本
在控制其余条件一致、只替换更新规则的实验中，Phase-HDC达到了6-bit动量Adam的精度，而存储量减少到三分之一
在图像、表格、文本共十一个数据集测试中，Phase-HDC相比标准float32 Adam存储量减少16-23倍，相比8-bit Adam减少4-6倍
Phase-HDC相对float32 Adam平均损失约5个精度点
在十一个数据集中有六个Phase-HDC精度高于8-bit Adam，其中字节级文本预测任务上8-bit Adam直接崩溃
论文明确指出Phase-HDC的存储节省是逻辑状态层面的，而非实测的硬件内存
Phase-HDC更适合内存极度受限且对超维模型本就有需求的边缘与嵌入式场景
全部知识事实 (10)
Phase-HDC更适合内存极度受限且对超维模型本就有需求的边缘与嵌入式场景
50%待验证超维分类器的可学习参数是低比特的角度值，论文称之为相位记忆（phase memory）
50%待验证Phase-HDC对每个角度参数在每次更新时最多转动一步，方向与当前梯度符号相反，且只在梯度足够大时才改动
50%待验证论文证明Phase-HDC的更新规则是某个一阶损失模型的精确解，在该模型中每个被改动的参数都要付出固定成本
50%待验证在控制其余条件一致、只替换更新规则的实验中，Phase-HDC达到了6-bit动量Adam的精度，而存储量减少到三分之一
50%待验证在图像、表格、文本共十一个数据集测试中，Phase-HDC相比标准float32 Adam存储量减少16-23倍，相比8-bit Adam减少4-6倍
50%待验证Phase-HDC相对float32 Adam平均损失约5个精度点
50%待验证在十一个数据集中有六个Phase-HDC精度高于8-bit Adam，其中字节级文本预测任务上8-bit Adam直接崩溃
50%待验证论文明确指出Phase-HDC的存储节省是逻辑状态层面的，而非实测的硬件内存
50%待验证arXiv论文《Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning》提出了一种用梯度阈值取代优化器历史的无记忆训练方法
50%