[KongchangAI]
Concept知识蒸馏 / Knowledge Distillation

模型蒸馏

一种模型压缩技术，通过将大型教师模型的知识转移到小型学生模型中，在保持性能的同时降低计算成本

Core Facts

模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出

Verified65% confidence3 sources

Timeline (last 90 days)

Jul 17

模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出

Verified65%

Source Articles

DeepSeek开源DeepSpec：推理加速60-85%的推测解码全栈工具库Jul 25Redis之父如何将2840亿参数DeepSeek塞进普通笔记本Jul 25GPT-5.6三模型实测对比：Sol/Terra/Luna选哪个？Jul 23Kimi K3开源大模型：蒸馏才是真正的机会所在Jul 22270亿参数大模型压进iPhone？端侧AI全参数运行技术解析Jul 21Claude Opus 5即将发布，阿里千问正式接入苹果智能Jul 21OpenAI五连发：Sol模型、桌面代理与实时翻译全解析Jul 20GPT-5.6 Sol深度解析：能力突破与失准隐患并存Jul 20