#低比特量化
共 2 篇相关文章

·5 分钟
低比特量化新突破:GGA+PW让线性注意力长文本生成更准更短
低比特GDN循环状态量化新方法:GGA按梯度敏感度分配头比特宽度,PW用FP8滑动窗口维护近期写入。在Qwen3.5-4B/9B七项评测中,GGA+PW-S8较STEPQuant@4提升38.39/41.21个百分点,同时显著缩短平均生成长度。
阅读全文 →

·5 分钟
BitMTP:多Token预测与低比特LLM的协同加速
BitMTP提出算法-系统协同设计框架,将多Token预测与超低比特LLM骨干结合,解决掩码起草缺上下文与KV更新开销问题,在H20、RTX 3090、Jetson Orin上实现最高3.3倍加速。
阅读全文 →