待验证50% 置信解决方案精确时间
模型蒸馏（Model Distillation）用大型教师模型的输出作为训练信号指导小型学生模型学习，可在参数量缩减数倍的情况下保留大部分性能
1
来源数
50%
置信度
长期有效
时效性
2026/7/10
首次发现
来源
豆包千问下线智能体：算力成本如何重塑AI商业边界
bilibili程序员艾雷克斯2026/7/8
相关事实
已验证模型蒸馏使用大型教师模型的软标签来训练小型学生模型，软标签携带的暗知识使蒸馏效率超过普通监督学习75% 相似待验证子曰大模型在预训练和微调阶段大量使用了教材、习题、解题过程等教育语料，使其在教育任务上具备更强的专业性70% 相似待验证教师-学生蒸馏框架先训练可访问完整环境信息的教师策略，再蒸馏到仅依赖机载传感器的学生策略中以实现真实硬件部署68% 相似待验证DINOv2的核心训练策略基于自蒸馏，模型同时维护教师网络和学生网络，学生网络通过预测教师网络对同一图像不同裁剪视角的输出来学习特征表示68% 相似已验证通过更高质量的训练数据、更优化的训练策略和更精细的后训练对齐，较小规模的模型可以在实际任务上完全超越规模更大但训练质量较低的模型67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/416829API
curl https://kongchang.com/api/v1/knowledge/claims/416829MCP
get_claim(id=416829)