[控场AI]
概念Latent-Space Distillation / 潜空间知识蒸馏

潜空间蒸馏

一种知识蒸馏变体,将对齐点从输出层前移至中间隐层的特征表征空间,使学生模型直接学习教师模型的中间表征而非最终输出,适用于输出为连续向量而非分类概率的编码器类模型

来源文章