概念W8A8 Quantization
W8A8量化
一种将模型权重和激活值均压缩为8位整数的量化方案，相比FP16可显著降低显存占用、提升NPU吞吐，在边缘芯片上是兼顾速度与可运行性的折中选择
时间轴 (近 90 天)
10月15日
W8A8量化指权重和激活都压缩为8位整数；相比FP16可降低显存占用、提升NPU吞吐，代价是可能带来轻微精度损失。
待验证50%
一种将模型权重和激活值均压缩为8位整数的量化方案，相比FP16可显著降低显存占用、提升NPU吞吐，在边缘芯片上是兼顾速度与可运行性的折中选择
W8A8量化指权重和激活都压缩为8位整数；相比FP16可降低显存占用、提升NPU吞吐，代价是可能带来轻微精度损失。