待验证50% 置信事实精确时间

蒸馏后的模型能保留教师模型70-90%的能力

1

来源数

50%

置信度

长期有效

时效性

2026/9/6

首次发现

来源

Qwen3本地部署教程：llama.cpp一行命令启动AI助手

涉及实体

Knowledge Distillationconcept

相关事实

待验证一个 700 亿参数的教师模型指导训练出的 70 亿参数学生模型在多数任务上可能保留 80-90% 的能力78% 相似待验证教师-学生蒸馏框架先训练可访问完整环境信息的教师策略，再蒸馏到仅依赖机载传感器的学生策略中以实现真实硬件部署63% 相似待验证DINOv2的核心训练策略基于自蒸馏，模型同时维护教师网络和学生网络，学生网络通过预测教师网络对同一图像不同裁剪视角的输出来学习特征表示63% 相似已验证模型蒸馏使用大型教师模型的软标签来训练小型学生模型，软标签携带的暗知识使蒸馏效率超过普通监督学习61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/866067

API

curl https://kongchang.com/api/v1/knowledge/claims/866067

MCP

get_claim(id=866067)