待验证50% 置信事实精确时间

模型蒸馏通过温度缩放软化教师模型的softmax输出，使低概率类别信息得以传递给学生模型

1

来源数

50%

置信度

长期有效

时效性

2026/8/28

首次发现

来源

OpenAI推GPT-5.6 Sol限时降价：AI大模型价格战再升级

涉及实体

模型蒸馏concept

相关事实

待验证硬蒸馏是指学生模型直接学习教师模型的最终输出标签或生成文本，软蒸馏则要求学生模型学习教师模型输出的完整概率分布（logits）79% 相似已验证模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出75% 相似待验证知识蒸馏通过软标签传递教师模型输出的完整概率分布信息，起到隐式数据增强效果73% 相似待验证模型蒸馏将大模型的知识迁移到更小的学生模型中，速度提升显著但存在一定能力损耗73% 相似待验证Flash模型通常采用知识蒸馏技术，以旗舰模型为教师模型训练出参数量更小、推理速度更快的学生模型72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/811045

API

curl https://kongchang.com/api/v1/knowledge/claims/811045

MCP

get_claim(id=811045)