已验证80% 置信事实精确时间

知识蒸馏的核心思想是让学生模型模仿教师模型输出的软标签（各类别概率分布），软标签被Hinton称为暗知识（dark knowledge）

7

来源数

80%

置信度

长期有效

时效性

2026/7/14

首次发现

来源

跨分词器知识蒸馏：85%信息丢失的根因与链式法则解法

相关事实

已验证知识蒸馏由Hinton等人提出，让学生模型通过学习教师模型输出的软概率分布继承隐性知识83% 相似待验证知识蒸馏由Hinton等人2015年提出，通过温度参数软化概率分布，使低概率类别的暗知识更显著供学生模型学习82% 相似已验证知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布77% 相似已验证知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出，核心思想是让小型学生模型学习大型教师模型输出的软标签76% 相似待验证模型蒸馏是深度学习中一种将教师模型的知识迁移到学生模型的技术71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/508975

API

curl https://kongchang.com/api/v1/knowledge/claims/508975

MCP

get_claim(id=508975)