人物Geoffrey Hinton

Hinton

杰弗里·辛顿（Geoffrey Hinton），英裔加拿大计算机科学家，人工智能与机器学习领域的奠基人之一。长期致力于神经网络与深度学习的基础研究，在反向传播算法的推广应用及深层神经网络训练方法上做出开创性贡献。曾任职于多伦多大学及谷歌，是推动深度学习进入主流人工智能研究的核心学者，获图灵奖等多项重要学术荣誉。

核心事实

Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015

已验证90% 置信12 来源

反向传播算法由Rumelhart、Hinton等人于1986年在《Nature》上发表的论文中系统化

已验证90% 置信8 来源

知识蒸馏由Hinton等人于2015年提出，原指用大模型的软标签输出训练小模型

已验证90% 置信13 来源

时间轴 (近 90 天)

9月30日

论文署名者包括Anthropic联合创始人Jack Clark和OpenAI首席科学家

待验证50%

9月12日

Hinton 在 2022 年提出前向-前向算法（Forward-Forward Algorithm），用两次前向传播替代一次前向加一次反向传播，分别处理正样本和负样本

待验证50%

9月10日

模型蒸馏最早由Hinton等人在2015年提出，让小模型学习大模型的输出分布，学生模型往往能保留教师模型80%-95%的性能

待验证50%

8月27日

玻尔兹曼机由Hinton和Sejnowski在1985年提出，其状态概率分布遵循玻尔兹曼分布 P(x) ∝ exp(-E(x)/T)

待验证50%

8月27日

知识蒸馏最早由Hinton等人在2015年提出，DiffusionGemma创造性地将其用于步数压缩，教师模型用较多步数（如48步）生成，学生模型用更少步数（如12步）达到相近质量

待验证50%

8月4日

Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015

已验证90%

7月22日

知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出，核心思想是让小型学生模型学习大型教师模型输出的软标签

已验证75%

7月17日

模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出

已验证70%

全部知识事实 (19)

已验证

Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015

90%已验证

反向传播算法由Rumelhart、Hinton等人于1986年在《Nature》上发表的论文中系统化

90%已验证

知识蒸馏由Hinton等人于2015年提出，原指用大模型的软标签输出训练小模型

90%已验证

知识蒸馏最早由Hinton等人于2015年提出

90%已验证

知识蒸馏的核心思想是让学生模型模仿教师模型输出的软标签（各类别概率分布），软标签被Hinton称为暗知识（dark knowledge）

80%已验证

反向传播算法由 Rumelhart、Hinton 和 Williams 在 1986 年的论文中推广普及，其数学核心是链式法则

80%已验证

知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布