待验证50% 置信解决方案精确时间
模型蒸馏（Knowledge Distillation）是将大型模型的知识迁移至小型轻量模型的技术，可在参数量缩减数十倍的同时保留大部分性能
1
来源数
50%
置信度
长期有效
时效性
2026/7/12
首次发现
来源
微软碳排放激增25%：AI数据中心的环境代价与出路
hackernewshackernews2026/7/11
相关事实
待验证The core idea of knowledge distillation is to have the small model learn the probability distribution (soft labels) of the large model's outputs rather than just hard labels82% 相似待验证知识蒸馏（Knowledge Distillation）由Hinton等人在2015年系统提出，核心思想是用大模型的输出概率分布指导小模型训练82% 相似已验证模型蒸馏（Knowledge Distillation）最初由 Hinton 等人于2015年提出，核心思想是让小模型学习大模型的软标签而非硬标签76% 相似待验证知识蒸馏技术使小模型可从大模型中提取相当比例能力，动摇了固定算力阈值作为能力代理指标的有效性73% 相似待验证轻量模型通过知识蒸馏和模型剪枝技术压缩规模，知识蒸馏让小模型模仿大模型的输出概率分布，剪枝移除对输出贡献最小的网络权重73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/490148API
curl https://kongchang.com/api/v1/knowledge/claims/490148MCP
get_claim(id=490148)