部分验证80% 置信事实精确时间
模型蒸馏使用大型教师模型的软标签来训练小型学生模型，软标签携带的暗知识使蒸馏效率超过普通监督学习
12
来源数
80%
置信度
长期有效
时效性
2026/7/8
首次发现
来源
GPT-5.6 Sol对决Fable 5：半价能否媲美旗舰？
bilibiliYoutube力工2026/7/6
相关事实
待验证模型蒸馏（Model Distillation）用大型教师模型的输出作为训练信号指导小型学生模型学习，可在参数量缩减数倍的情况下保留大部分性能75% 相似待验证子曰大模型在预训练和微调阶段大量使用了教材、习题、解题过程等教育语料，使其在教育任务上具备更强的专业性71% 相似待验证教师-学生蒸馏框架先训练可访问完整环境信息的教师策略，再蒸馏到仅依赖机载传感器的学生策略中以实现真实硬件部署69% 相似待验证Warmup策略在训练初期使用极小学习率，待参数进入合理范围后再提升，被大型语言模型训练广泛采用68% 相似待验证Skill本质上是通过模拟少样本学习效果，在不修改模型权重的前提下，通过提示模板约束模型的输出分布67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/270562API
curl https://kongchang.com/api/v1/knowledge/claims/270562MCP
get_claim(id=270562)