已验证70% 置信事实精确时间
模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出
4
来源数
70%
置信度
长期有效
时效性
2026/7/17
首次发现
来源
相关事实
已验证模型蒸馏（Knowledge Distillation）最初由 Hinton 等人于2015年提出，核心思想是让小模型学习大模型的软标签而非硬标签78% 相似待验证模型蒸馏最早由Hinton等人在2015年提出，让小模型学习大模型的输出分布，学生模型往往能保留教师模型80%-95%的性能77% 相似已验证模型蒸馏通过温度缩放软化教师模型的softmax输出，使低概率类别信息得以传递给学生模型75% 相似已验证硬蒸馏是指学生模型直接学习教师模型的最终输出标签或生成文本，软蒸馏则要求学生模型学习教师模型输出的完整概率分布（logits）73% 相似已验证模型蒸馏（Model Distillation）在机器学习领域指用大型教师模型的输出训练小型学生模型，以压缩模型规模同时保留能力72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/538841API
curl https://kongchang.com/api/v1/knowledge/claims/538841MCP
get_claim(id=538841)