蒸馏与量化、剪枝常被统称为模型压缩三件套，但蒸馏改变的是训练信号，而后两者直接压缩已有权重。