待验证50% 置信事实精确时间
软标签蒸馏时教师输出带有置信度信息，学生能感知不确定性；而文本级蒸馏将教师输出当作确定性ground truth，学生毫无保留地继承教师的系统性错误。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
涉及实体
相关事实
待验证传统知识蒸馏通常使用教师模型输出的软标签来传递类别间相似性等暗知识78% 相似待验证传统蒸馏使用教师输出的软标签（soft labels，即带温度的类别概率分布）作为监督信号；当前主流的大语言模型蒸馏则多采用教师生成回答、学生模仿回答的序列级监督方式。77% 相似待验证白盒教师可访问权重和logits，支持软标签蒸馏；黑盒教师只能提供文本输出，只能做硬标签的离线蒸馏73% 相似待验证师生架构是半监督学习中的经典范式，教师模型对无标注样本生成伪标签，学生模型以伪标签作为监督信号训练72% 相似待验证软标签是教师模型经过softmax归一化后输出的概率分布，携带了类别之间的相似性信息，其信息量远超单一的硬标签。69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1053605API
curl https://kongchang.com/api/v1/knowledge/claims/1053605MCP
get_claim(id=1053605)