Unverified60% confidenceFactExact time
模型蒸馏由Hinton等人于2015年系统化提出，核心是将大模型的暗知识转移给小模型，使用软概率分布作为监督信号
2
Sources
60%
Confidence
Long-term
Relevance
7/12/2026
First Seen
Sources
GPT-5.6 Sol有限预览，AI能力扩张背后的安全边界
bilibili江枫渔火AI7/9/2026
Related Claims
Verified知识蒸馏由Hinton等人于2015年提出，原指用大模型的软标签输出训练小模型78% similarUnverified轻量模型通过知识蒸馏和模型剪枝技术压缩规模，知识蒸馏让小模型模仿大模型的输出概率分布，剪枝移除对输出贡献最小的网络权重76% similarUnverified知识蒸馏（Knowledge Distillation）由Hinton等人在2015年系统提出，核心思想是用大模型的输出概率分布指导小模型训练74% similarUnverified知识蒸馏技术使小模型可从大模型中提取相当比例能力，动摇了固定算力阈值作为能力代理指标的有效性73% similarVerified模型蒸馏（Knowledge Distillation）最初由 Hinton 等人于2015年提出，核心思想是让小模型学习大模型的软标签而非硬标签71% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/489368API
curl https://kongchang.com/api/v1/knowledge/claims/489368MCP
get_claim(id=489368)