待验证60% 置信事实精确时间

知识蒸馏让学生网络学习教师网络输出的软概率分布，使学生模型在参数量缩减10倍以上的情况下保留核心推理能力

2

来源数

60%

置信度

长期有效

时效性

2026/7/12

首次发现

来源

华为Sound X5挥手隔空控制全攻略：手势切歌到全屋联动

bilibili艳阳好物推荐2026/7/10

相关事实

待验证论文中的90亿参数模型在用强化学习训练前，比干净的摘要落后6分72% 相似待验证通过蒸馏，参数量仅为教师模型十分之一的学生模型往往能保留教师模型80%-95%的性能68% 相似待验证经过协同蒸馏和量化的学生模型相比原始基线模型推理速度提升98.21%66% 相似待验证MoE架构每次推理仅激活少数专家，训练成本相对同等能力稠密模型大幅降低，10B激活1B相比10B稠密模型训练成本低10倍且推理更快65% 相似待验证知识蒸馏与结构剪枝的组合能在较小参数量下保留旗舰模型80%-90%的核心能力，却只需20%-30%的推理成本64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/494650

API

curl https://kongchang.com/api/v1/knowledge/claims/494650

MCP

get_claim(id=494650)