蒸馏的代价在于：学生模型倾向于继承教师模型在训练分布内的行为，但对分布外的困难样本（生僻词、强噪声、罕见口音）的泛化能力会明显弱于原始大模型。