已验证65% 置信事实精确时间

硬蒸馏是指学生模型直接学习教师模型的最终输出标签或生成文本，软蒸馏则要求学生模型学习教师模型输出的完整概率分布（logits）

3

来源数

65%

置信度

长期有效

时效性

2026/8/7

首次发现

来源

开源vs闭源模型、奖励黑客与刷榜：AI大模型核心技术问题深度解析

相关事实

已验证模型蒸馏通过温度缩放软化教师模型的softmax输出，使低概率类别信息得以传递给学生模型79% 相似待验证蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并78% 相似待验证输出蒸馏是直接用教师模型生成的对话、推理链等文本作为训练数据微调学生模型，无需访问教师内部参数75% 相似已验证模型蒸馏是一种将大型教师模型能力迁移到更小学生模型的技术，可能被用于扩散危险能力74% 相似待验证端点式策略蒸馏方法将教师模型RL训练前后log概率差值作为监督信号，施加在学生模型自己生成的轨迹上。73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/704190

API

curl https://kongchang.com/api/v1/knowledge/claims/704190

MCP

get_claim(id=704190)