待验证70% 置信事实精确时间

蒸馏的教师模型不一定比学生模型更大，可以是尺寸相当的领域专家模型

2

来源数

70%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

Agent蒸馏实战：用小模型复刻大模型的智能体能力

涉及实体

相关事实

已验证知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布76% 相似待验证知识蒸馏由Hinton等人提出，让学生模型通过学习教师模型输出的软概率分布继承隐性知识63% 相似待验证知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出，核心思想是让小型学生模型学习大型教师模型输出的软标签63% 相似待验证卡内基梅隆大学开发的Cognitive Tutor引入产生式规则模型和学生模型，在代数教学中取得约0.4 SD的持续效果，被美国数千所学校部署63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/911344

API

curl https://kongchang.com/api/v1/knowledge/claims/911344

MCP

get_claim(id=911344)