Unverified60% confidenceFactExact time
知识蒸馏让学生网络学习教师网络输出的软概率分布，使学生模型在参数量缩减10倍以上的情况下保留核心推理能力
2
Sources
60%
Confidence
Long-term
Relevance
7/12/2026
First Seen
Sources
华为Sound X5挥手隔空控制全攻略：手势切歌到全屋联动
bilibili艳阳好物推荐7/10/2026
Related Claims
UnverifiedMoE架构每次推理仅激活少数专家，训练成本相对同等能力稠密模型大幅降低，10B激活1B相比10B稠密模型训练成本低10倍且推理更快65% similarUnverified知识蒸馏与结构剪枝的组合能在较小参数量下保留旗舰模型80%-90%的核心能力，却只需20%-30%的推理成本64% similarUnverified经过充分训练的神经网络权重矩阵奇异值呈现重尾特征，前10%的奇异值可能捕获超过90%的信息能量63% similarUnverified研究数据表明接受同伴教学的学生在概念理解测试中的得分比仅听讲座的学生平均高出20%-30%，且知识保留率更高62% similarUnverified实验数据显示，经过5-10轮迭代训练后，模型在低频词汇和长尾知识上的覆盖率下降超过40%，而输出文本在表面流畅性上几乎没有可察觉的退化62% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/494650API
curl https://kongchang.com/api/v1/knowledge/claims/494650MCP
get_claim(id=494650)