A100 也是 Ampere 架构，因此在 A100 上运行 FP8 量化模型也是低效的，应当选择 INT4 量化方案。