待验证50% 置信事实精确时间
KL散度衡量两个概率分布之间的差异，在知识蒸馏中直接出现在训练目标里，学生模型输出分布被要求逼近教师分布以最小化二者的KL散度
1
来源数
50%
置信度
长期有效
时效性
2026/10/7
首次发现
来源
涉及实体
相关事实
已验证知识蒸馏由Hinton等人提出，让学生模型通过学习教师模型输出的软概率分布继承隐性知识66% 相似待验证自蒸馏与传统知识蒸馏的核心区别在于教师和学生可以是同一个模型，或是模型自身在不同训练阶段、不同视角下产生的输出63% 相似待验证Smith和Le（2018年）证明学习率与batch size的比值η/B控制着隐式正则化的强度62% 相似待验证论文将对比学习、指数族分布和信息几何三个数学工具串联，建立了锚点上的概率分布与表示空间上Bregman几何之间的严格映射关系60% 相似待验证差异化学习率策略（Discriminative Learning Rate）由 ULMFiT 论文系统化提出，对模型不同深度的层设置递增的学习率60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/984970API
curl https://kongchang.com/api/v1/knowledge/claims/984970MCP
get_claim(id=984970)