待验证50% 置信事实精确时间
论文《SimOPD: Relational Knowledge Transfer for On-Policy Distillation》提出SimOPD方法，借鉴对比学习中对实例间关系的利用，通过学生生成响应的相似性来传递教师的内部知识。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
SimOPD：用相似性关系实现更高效的在线蒸馏
rss2026/10/16
涉及实体
相关事实
已验证Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 201575% 相似待验证自蒸馏与传统知识蒸馏的核心区别在于教师和学生可以是同一个模型，或是模型自身在不同训练阶段、不同视角下产生的输出69% 相似待验证知识蒸馏可将多个教师模型的知识压缩进一个学生网络，学生网络大小可自行设定65% 相似待验证使用学习思维导图能帮助建立知识点之间的关联网络，对抗碎片化学习64% 相似待验证自蒸馏（Self-Distillation）省去独立教师模型，让模型向自身历史检查点或当前推理中产生的高质量输出学习64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069441API
curl https://kongchang.com/api/v1/knowledge/claims/1069441MCP
get_claim(id=1069441)