Unverified50% confidenceFactExact time
模型蒸馏最早由Hinton等人在2015年提出，让小模型学习大模型的输出分布，学生模型往往能保留教师模型80%-95%的性能
1
Sources
50%
Confidence
Long-term
Relevance
9/10/2026
First Seen
Sources
Related Entities
Related Claims
Verified模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出77% similarVerified模型蒸馏是一种将大型教师模型能力迁移到更小学生模型的技术，可能被用于扩散危险能力77% similarVerified模型蒸馏通过温度缩放软化教师模型的softmax输出，使低概率类别信息得以传递给学生模型76% similarUnverified本实验采用轨迹级蒸馏，属于行为克隆范畴，直接让学生模型模仿教师模型的外在行为序列75% similarVerified模型蒸馏将大模型的知识迁移到更小的学生模型中，速度提升显著但存在一定能力损耗73% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/891631API
curl https://kongchang.com/api/v1/knowledge/claims/891631MCP
get_claim(id=891631)