概念QAD
量化感知蒸馏
一种在量化约束下直接训练低精度模型的压缩方法，将量化算子嵌入训练图，用全精度teacher的输出来监督低精度权重
时间轴 (近 90 天)
10月17日
NVIDIA FP4版Qwen3.8使用量化感知蒸馏（QAD）训练，训练预算为3个epoch共500M tokens，包含2500次主干更新和1500次联合精调更新。
待验证50%
一种在量化约束下直接训练低精度模型的压缩方法，将量化算子嵌入训练图，用全精度teacher的输出来监督低精度权重
NVIDIA FP4版Qwen3.8使用量化感知蒸馏（QAD）训练，训练预算为3个epoch共500M tokens，包含2500次主干更新和1500次联合精调更新。