Hinton
杰弗里·辛顿（Geoffrey Hinton），英裔加拿大计算机科学家，人工智能与机器学习领域的奠基人之一。长期致力于神经网络与深度学习的基础研究，在反向传播算法的推广应用及深层神经网络训练方法上做出开创性贡献。曾任职于多伦多大学及谷歌，是推动深度学习进入主流人工智能研究的核心学者，获图灵奖等多项重要学术荣誉。
Core Facts
知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布
Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出
Timeline (last 90 days)
玻尔兹曼机由Hinton和Sejnowski在1985年提出，其状态概率分布遵循玻尔兹曼分布 P(x) ∝ exp(-E(x)/T)
知识蒸馏最早由Hinton等人在2015年提出，DiffusionGemma创造性地将其用于步数压缩，教师模型用较多步数（如48步）生成，学生模型用更少步数（如12步）达到相近质量
Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出，核心思想是让小型学生模型学习大型教师模型输出的软标签
模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出
知识蒸馏的核心思想是让学生模型模仿教师模型输出的软标签（各类别概率分布），软标签被Hinton称为暗知识（dark knowledge）
知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布
混合专家（MOE）架构最早由Hinton等人在1991年提出
All Facts (8)
知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布
80%VerifiedKnowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
70%Verified模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出
65%Verified知识蒸馏的核心思想是让学生模型模仿教师模型输出的软标签（各类别概率分布），软标签被Hinton称为暗知识（dark knowledge）
65%Verified混合专家（MOE）架构最早由Hinton等人在1991年提出
65%Unverified玻尔兹曼机由Hinton和Sejnowski在1985年提出，其状态概率分布遵循玻尔兹曼分布 P(x) ∝ exp(-E(x)/T)
50%Unverified知识蒸馏最早由Hinton等人在2015年提出，DiffusionGemma创造性地将其用于步数压缩，教师模型用较多步数（如48步）生成，学生模型用更少步数（如12步）达到相近质量
50%Unverified知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出，核心思想是让小型学生模型学习大型教师模型输出的软标签
50%