Partially Verified80% confidenceFactExact time
模型蒸馏使用大型教师模型的软标签来训练小型学生模型，软标签携带的暗知识使蒸馏效率超过普通监督学习
12
Sources
80%
Confidence
Long-term
Relevance
7/8/2026
First Seen
Sources
GPT-5.6 Sol对决Fable 5：半价能否媲美旗舰？
bilibiliYoutube力工7/6/2026
Related Claims
Unverified模型蒸馏（Model Distillation）用大型教师模型的输出作为训练信号指导小型学生模型学习，可在参数量缩减数倍的情况下保留大部分性能75% similarUnverified子曰大模型在预训练和微调阶段大量使用了教材、习题、解题过程等教育语料，使其在教育任务上具备更强的专业性71% similarUnverified教师-学生蒸馏框架先训练可访问完整环境信息的教师策略，再蒸馏到仅依赖机载传感器的学生策略中以实现真实硬件部署69% similarUnverifiedWarmup策略在训练初期使用极小学习率，待参数进入合理范围后再提升，被大型语言模型训练广泛采用68% similarUnverifiedSkill本质上是通过模拟少样本学习效果，在不修改模型权重的前提下，通过提示模板约束模型的输出分布67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/270562API
curl https://kongchang.com/api/v1/knowledge/claims/270562MCP
get_claim(id=270562)