概念Soft-label Distillation
软标签蒸馏
一种知识蒸馏形式，学生模型通过最小化与教师模型完整概率分布的差异来学习，但在投机解码场景下可能导致接受率下降。
时间轴 (近 90 天)
10月22日
传统软标签蒸馏要求草稿模型在每一个位置上都逼近目标模型的完整概率分布，包括高熵区域，这与推理时最大化接受长度的目标不一致。
待验证50%
10月22日
软标签蒸馏是一种知识蒸馏形式，教师模型对每个位置输出完整的概率分布（软标签），学生模型通过最小化与教师分布的差异（如KL散度）来学习。
待验证50%
9月12日
软标签蒸馏使用温度超参数T，将logits除以T后做softmax，T越大分布越平滑
待验证50%