传统蒸馏使用教师输出的软标签（soft labels，即带温度的类别概率分布）作为监督信号；当前主流的大语言模型蒸馏则多采用教师生成回答、学生模仿回答的序列级监督方式。