待验证50% 置信事实精确时间

学生模型训练目标由与真实硬标签的常规损失和与教师软标签的蒸馏损失两部分加权组合，蒸馏损失一般用KL散度衡量

1

来源数

50%

置信度

长期有效

时效性

2026/9/21

首次发现

来源

知识蒸馏详解：如何让小模型学会大模型的本领

涉及实体

KL散度concept 知识蒸馏concept

相关事实

待验证在后训练阶段，过低的损失可能对应过拟合，即模型死记硬背训练数据而丧失泛化能力74% 相似待验证训练模型的核心过程是通过梯度下降法沿着损失函数的梯度方向迭代更新参数74% 相似待验证传统草稿模型针对单一目标模型在狭窄分布上训练，工作负载变化时接受率会急剧下降，且每更换一个目标模型就必须重新完成整个预训练过程69% 相似已验证模型蒸馏使用大型教师模型的软标签来训练小型学生模型，软标签携带的暗知识使蒸馏效率超过普通监督学习69% 相似待验证实时看板通常呈现训练过程中的动态指标，包括损失曲线、奖励模型评分、基准测试阶段性成绩、算力资源占用等68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/937978

API

curl https://kongchang.com/api/v1/knowledge/claims/937978

MCP

get_claim(id=937978)