Phase-HDC：用梯度阈值取代优化器历史的无记忆训练法

当训练比存储更吃内存

一个反直觉的事实是：训练一个紧凑模型所需的内存，往往远超存储这个模型本身。原因在于优化器——像 Adam 这样的主流优化器会维护自己的一套"记忆"，记录过往梯度的动量（moments）信息。对普通模型来说这是可接受的开销，但对一类特殊模型而言，这个代价变得难以忍受。

arXiv 最新论文《Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning》聚焦的正是超维分类器（hyperdimensional classifier）。这类模型的可学习参数是低比特的角度值，论文称之为"相位记忆"（phase memory）。问题随之而来：当参数本身只占极少比特时，Adam 为每个参数额外保存的梯度历史，内存占用竟是模型本体的数倍。研究者于是提出了一个尖锐的问题——能否在"除了模型本身什么都不存"的前提下完成训练？

超维分类器（Hyperdimensional Classifier，HDC） 是一类受大脑联想记忆启发的机器学习模型，核心思想是将数据编码为超高维（通常数千至数万维）的二值或低比特向量，并在这个高维空间中完成分类或检索。与神经网络相比，超维模型的推理计算更简单（主要是向量加法和相似度查询），天然适合资源受限的嵌入式场景。其参数用低比特角度值表示——即"相位记忆"——正是这种极度压缩的参数形式，使得传统优化器为每个参数额外维护的 float32 动量，相对于模型本体显得极为臃肿。举例来说，如果一个参数只需要 2-4 bit 存储，而 Adam 要为其保存两个 float32 动量项（共 64 bit），优化器状态的开销可达参数本身的十几倍以上。

Phase-HDC 的核心规则

Phase-HDC 给出的答案出人意料地简单。它对每个存储的角度参数，在每次更新时最多转动一步，方向与当前梯度的符号相反，而且只在梯度足够大时才动。换句话说，它用一个关于当前梯度的阈值判断，替代了优化器对历史动量的依赖。

这条规则并非拍脑袋设计。论文证明，它恰好是某个一阶损失模型的精确解——在该模型中，每一个被改动的参数都要付出固定成本。这意味着"只在值得时才改动，且一次只改一小步"是数学上的最优策略，而非经验性的启发式技巧。

为什么阈值能替代动量

论文中带有仪表监测的训练实验揭示了背后的机理。一旦参数必须落在离散网格上，Adam 的动量实际上主要在决定"这个参数到底动不动"这一件事。而这个决定，完全可以由当前梯度上的一个阈值在无记忆的情况下做出。更关键的是，当动量本身被粗粒度量化后，对于数据中罕见的输入，这个"动不动"的判断反而会失效——这解释了低比特 Adam 为何在某些场景崩溃。

Adam 优化器的动量机制（即一阶矩和二阶矩估计）设计初衷是在连续参数空间中平滑梯度噪声、自适应调整每个参数的学习率。但在离散参数空间（如只能取有限个角度格点的相位参数）里，参数更新本质上只有"跳一格"或"不跳"两种结果，连续空间中平滑的梯度信号在此变得多余——最终决定动作的逻辑，退化为对更新幅度的简单阈值判断。低比特 Adam 之所以在罕见输入场景崩溃，是因为罕见样本产生的梯度信号较弱，当动量本身被粗粒化后，这些微弱信号被淹没或截断，导致对应参数永远无法更新；而 Phase-HDC 的阈值机制直接作用于原始梯度，不存在量化动量带来的信息损失问题。

内存与精度的权衡

Phase-HDC 的价值集中体现在存储效率上。在控制其余条件完全一致、只替换更新规则的实验中，它达到了 6-bit 动量 Adam 的精度，而存储量减少到三分之一。

跨越图像、表格、文本共十一个数据集的测试给出了更全面的数字：

• 相比标准 float32 Adam，存储量减少 16–23 倍；
• 相比 8-bit Adam，存储量减少 4–6 倍；
• 代价是相对 float32 Adam 平均损失约 5 个精度点。

值得关注的是对比 8-bit Adam 的表现：在十一个数据集中有六个，Phase-HDC 的精度反而更高，其中包括字节级文本预测任务——在这个任务上 8-bit Adam 直接崩溃。这印证了前文的机理分析：粗粒度量化破坏了对罕见输入的更新决策，而 Phase-HDC 的阈值规则天然规避了这一问题。

如何看待这项工作

Phase-HDC 的思路本质上是一次"做减法"的尝试：它没有去压缩或量化优化器的历史记录，而是直接质疑这些记录是否必要，并给出了一个在离散相位学习场景下成立的理论答案。

需要清醒看待的一点是，论文明确指出存储节省是逻辑状态层面（logical state）的，而非实测的硬件内存。也就是说，这些数字反映的是算法原理上需要维护的状态量，实际部署时的硬件收益还需进一步验证。此外，平均 5 个精度点的损失对精度敏感的应用并非小数目——Phase-HDC 更适合那些内存极度受限、且对超维模型本就有需求的边缘与嵌入式场景。

对于关注高效训练与端侧 AI 的研究者而言，这项工作提供了一个有趣的视角：优化器历史并非天经地义，在特定的离散参数空间里，一个简单的梯度阈值或许就足够。