待验证50% 置信观点精确时间

蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并

1

来源数

50%

置信度

长期有效

时效性

2026/10/7

首次发现

来源

模型合并与知识蒸馏有何关联？参数空间与输出分布的桥梁探讨

涉及实体

知识蒸馏concept 模型合并concept

相关事实

已验证硬蒸馏是指学生模型直接学习教师模型的最终输出标签或生成文本，软蒸馏则要求学生模型学习教师模型输出的完整概率分布（logits）78% 相似已验证离线蒸馏中训练数据由教师模型一次性生成并固定，学生模型在静态数据集上学习77% 相似已验证模型蒸馏通过温度缩放软化教师模型的softmax输出，使低概率类别信息得以传递给学生模型77% 相似待验证输出蒸馏是直接用教师模型生成的对话、推理链等文本作为训练数据微调学生模型，无需访问教师内部参数77% 相似待验证模型蒸馏最早由Hinton等人在2015年提出，让小模型学习大模型的输出分布，学生模型往往能保留教师模型80%-95%的性能76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/984969

API

curl https://kongchang.com/api/v1/knowledge/claims/984969

MCP

get_claim(id=984969)