[控场AI]
概念Global Gradient-aware Allocation / 全局梯度感知分配

GGA

一种面向循环状态量化的混合精度分配方法,通过评估各注意力头量化残差对预测损失的梯度敏感度来分配比特宽度,在固定存储预算下降低整体量化误差。

来源文章