Verified70% confidenceFactExact time
模型蒸馏通过温度缩放软化教师模型的softmax输出，使低概率类别信息得以传递给学生模型
4
Sources
70%
Confidence
Long-term
Relevance
8/28/2026
First Seen
Sources
Related Entities
Related Claims
Unverified硬蒸馏是指学生模型直接学习教师模型的最终输出标签或生成文本，软蒸馏则要求学生模型学习教师模型输出的完整概率分布（logits）79% similarVerified模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出75% similarVerified知识蒸馏通过软标签传递教师模型输出的完整概率分布信息，起到隐式数据增强效果73% similarUnverified模型蒸馏将大模型的知识迁移到更小的学生模型中，速度提升显著但存在一定能力损耗73% similarVerifiedFlash模型通常采用知识蒸馏技术，以旗舰模型为教师模型训练出参数量更小、推理速度更快的学生模型72% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/811045API
curl https://kongchang.com/api/v1/knowledge/claims/811045MCP
get_claim(id=811045)