已验证65% 置信事实精确时间
硬蒸馏是指学生模型直接学习教师模型的最终输出标签或生成文本，软蒸馏则要求学生模型学习教师模型输出的完整概率分布（logits）
3
来源数
65%
置信度
长期有效
时效性
2026/8/7
首次发现
来源
相关事实
已验证模型蒸馏通过温度缩放软化教师模型的softmax输出，使低概率类别信息得以传递给学生模型79% 相似待验证蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并78% 相似待验证输出蒸馏是直接用教师模型生成的对话、推理链等文本作为训练数据微调学生模型，无需访问教师内部参数75% 相似已验证模型蒸馏是一种将大型教师模型能力迁移到更小学生模型的技术，可能被用于扩散危险能力74% 相似待验证在传统白盒蒸馏中学生模型可以直接访问教师模型输出层的完整概率分布（logits），而大语言模型商业API通常只返回最终生成文本或top-k的token概率73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/704190API
curl https://kongchang.com/api/v1/knowledge/claims/704190MCP
get_claim(id=704190)