Unverified60% confidenceFactExact time
知识蒸馏（Knowledge Distillation）由Hinton等人在2015年系统提出，核心思想是用大模型的输出概率分布指导小模型训练
2
Sources
60%
Confidence
Long-term
Relevance
7/14/2026
First Seen
Sources
Related Claims
Verified知识蒸馏由Hinton等人于2015年提出，原指用大模型的软标签输出训练小模型84% similarUnverified模型蒸馏（Knowledge Distillation）是将大型模型的知识迁移至小型轻量模型的技术，可在参数量缩减数十倍的同时保留大部分性能82% similarUnverifiedThe core idea of knowledge distillation is to have the small model learn the probability distribution (soft labels) of the large model's outputs rather than just hard labels81% similarVerified模型蒸馏（Knowledge Distillation）最初由 Hinton 等人于2015年提出，核心思想是让小模型学习大模型的软标签而非硬标签77% similarUnverified模型蒸馏由Hinton等人于2015年系统化提出，核心是将大模型的暗知识转移给小模型，使用软概率分布作为监督信号74% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/503643API
curl https://kongchang.com/api/v1/knowledge/claims/503643MCP
get_claim(id=503643)