待验证50% 置信事实精确时间

自蒸馏与传统知识蒸馏的核心区别在于教师和学生可以是同一个模型，或是模型自身在不同训练阶段、不同视角下产生的输出

1

来源数

50%

置信度

长期有效

时效性

2026/10/7

首次发现

来源

UniEvo-VL：自蒸馏训练如何让多模态模型自我进化

涉及实体

自蒸馏concept 知识蒸馏concept

相关事实

待验证蒸馏的教师模型不一定比学生模型更大，可以是尺寸相当的领域专家模型73% 相似待验证模型蒸馏是深度学习中一种将教师模型的知识迁移到学生模型的技术70% 相似已验证知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/982695

API

curl https://kongchang.com/api/v1/knowledge/claims/982695

MCP

get_claim(id=982695)