[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
Global Gradient-aware Allocation / 全局梯度感知分配
GGA
一种面向循环状态量化的混合精度分配方法,通过评估各注意力头量化残差对预测损失的梯度敏感度来分配比特宽度,在固定存储预算下降低整体量化误差。
来源文章
低比特量化新突破:GGA+PW让线性注意力长文本生成更准更短
10月30日