待验证50% 置信事实精确时间
软标签蒸馏是一种知识蒸馏形式，教师模型对每个位置输出完整的概率分布（软标签），学生模型通过最小化与教师分布的差异（如KL散度）来学习。
1
来源数
50%
置信度
长期有效
时效性
2026/10/22
首次发现
来源
涉及实体
相关事实
已验证硬蒸馏是指学生模型直接学习教师模型的最终输出标签或生成文本，软蒸馏则要求学生模型学习教师模型输出的完整概率分布（logits）80% 相似已验证知识蒸馏通过软标签传递教师模型输出的完整概率分布信息，起到隐式数据增强效果79% 相似已验证模型蒸馏通过温度缩放软化教师模型的softmax输出，使低概率类别信息得以传递给学生模型76% 相似已验证蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并69% 相似待验证推理蒸馏是知识蒸馏的一个分支，指用大型教师模型生成的推理过程（而非仅最终答案）来训练较小的学生模型，使其习得逐步推理的能力。66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1084561API
curl https://kongchang.com/api/v1/knowledge/claims/1084561MCP
get_claim(id=1084561)