Hinton
杰弗里·辛顿（Geoffrey Hinton），英裔加拿大计算机科学家，人工智能与机器学习领域的奠基人之一。长期致力于神经网络与深度学习的基础研究，在反向传播算法的推广应用及深层神经网络训练方法上做出开创性贡献。曾任职于多伦多大学及谷歌，是推动深度学习进入主流人工智能研究的核心学者，获图灵奖等多项重要学术荣誉。
核心事实
知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布
Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出
时间轴 (近 90 天)
知识蒸馏最早由Hinton等人在2015年提出，DiffusionGemma创造性地将其用于步数压缩，教师模型用较多步数（如48步）生成，学生模型用更少步数（如12步）达到相近质量
Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出，核心思想是让小型学生模型学习大型教师模型输出的软标签
模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出
知识蒸馏的核心思想是让学生模型模仿教师模型输出的软标签（各类别概率分布），软标签被Hinton称为暗知识（dark knowledge）
知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布
混合专家（MOE）架构最早由Hinton等人在1991年提出
全部知识事实 (7)
知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布
80%已验证Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
70%已验证模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出
65%已验证知识蒸馏的核心思想是让学生模型模仿教师模型输出的软标签（各类别概率分布），软标签被Hinton称为暗知识（dark knowledge）
65%已验证混合专家（MOE）架构最早由Hinton等人在1991年提出
65%待验证知识蒸馏最早由Hinton等人在2015年提出，DiffusionGemma创造性地将其用于步数压缩，教师模型用较多步数（如48步）生成，学生模型用更少步数（如12步）达到相近质量
50%待验证知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出，核心思想是让小型学生模型学习大型教师模型输出的软标签
50%