待验证60% 置信事实精确时间
知识蒸馏通过软标签传递教师模型输出的完整概率分布信息，起到隐式数据增强效果
2
来源数
60%
置信度
长期有效
时效性
2026/7/10
首次发现
来源
GLM-5.2发布：开源编程能力首次逼近闭源旗舰模型
bilibili五里墩茶社2026/6/22
相关事实
待验证知识蒸馏的中间层对齐策略（如PKD、TinyBERT）通过强制学生模型的隐藏表示模仿教师模型的分布间接约束嵌入几何结构75% 相似待验证The core idea of knowledge distillation is to have the small model learn the probability distribution (soft labels) of the large model's outputs rather than just hard labels74% 相似待验证Flash模型通常采用知识蒸馏技术，以旗舰模型为教师模型训练出参数量更小、推理速度更快的学生模型72% 相似待验证硬蒸馏是指学生模型直接学习教师模型的最终输出标签或生成文本，软蒸馏则要求学生模型学习教师模型输出的完整概率分布（logits）71% 相似待验证SPLADE 是一种学习型稀疏检索模型，通过神经网络为文档生成稀疏向量表示，可在倒排索引上高效运行70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/453429API
curl https://kongchang.com/api/v1/knowledge/claims/453429MCP
get_claim(id=453429)