概念soft label
软标签
知识蒸馏中教师模型输出的概率分布标签，相较于硬标签包含更丰富的类别间关系信息，通常结合温度参数进行平滑处理
时间轴 (近 90 天)
10月22日
第二阶段软标签的生成过程不需要对教师自身的训练数据进行人工标注。
待验证50%
10月17日
软标签蒸馏时教师输出带有置信度信息，学生能感知不确定性；而文本级蒸馏将教师输出当作确定性ground truth，学生毫无保留地继承教师的系统性错误。
待验证50%
10月14日
传统蒸馏使用教师输出的软标签（soft labels，即带温度的类别概率分布）作为监督信号；当前主流的大语言模型蒸馏则多采用教师生成回答、学生模仿回答的序列级监督方式。
待验证50%
10月13日
软标签是教师模型经过softmax归一化后输出的概率分布，携带了类别之间的相似性信息，其信息量远超单一的硬标签。
待验证50%
9月25日
软标签是指输出的概率分布而非简单的0/1分类结果，包含类别间相似度等隐含知识，信息量比硬标签丰富
待验证50%
全部知识事实 (5)
待验证
第二阶段软标签的生成过程不需要对教师自身的训练数据进行人工标注。
50%待验证软标签蒸馏时教师输出带有置信度信息，学生能感知不确定性；而文本级蒸馏将教师输出当作确定性ground truth，学生毫无保留地继承教师的系统性错误。
50%待验证传统蒸馏使用教师输出的软标签（soft labels，即带温度的类别概率分布）作为监督信号；当前主流的大语言模型蒸馏则多采用教师生成回答、学生模仿回答的序列级监督方式。
50%待验证软标签是教师模型经过softmax归一化后输出的概率分布，携带了类别之间的相似性信息，其信息量远超单一的硬标签。
50%待验证软标签是指输出的概率分布而非简单的0/1分类结果，包含类别间相似度等隐含知识，信息量比硬标签丰富
50%