待验证60% 置信事实精确时间
知识蒸馏让学生网络学习教师网络输出的软概率分布，使学生模型在参数量缩减10倍以上的情况下保留核心推理能力
2
来源数
60%
置信度
长期有效
时效性
2026/7/12
首次发现
来源
华为Sound X5挥手隔空控制全攻略：手势切歌到全屋联动
bilibili艳阳好物推荐2026/7/10
相关事实
待验证MoE架构每次推理仅激活少数专家，训练成本相对同等能力稠密模型大幅降低，10B激活1B相比10B稠密模型训练成本低10倍且推理更快65% 相似待验证知识蒸馏与结构剪枝的组合能在较小参数量下保留旗舰模型80%-90%的核心能力，却只需20%-30%的推理成本64% 相似待验证经过充分训练的神经网络权重矩阵奇异值呈现重尾特征，前10%的奇异值可能捕获超过90%的信息能量63% 相似待验证研究数据表明接受同伴教学的学生在概念理解测试中的得分比仅听讲座的学生平均高出20%-30%，且知识保留率更高62% 相似待验证实验数据显示，经过5-10轮迭代训练后，模型在低频词汇和长尾知识上的覆盖率下降超过40%，而输出文本在表面流畅性上几乎没有可察觉的退化62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/494650API
curl https://kongchang.com/api/v1/knowledge/claims/494650MCP
get_claim(id=494650)