概念KL Self-Distillation
KL自蒸馏
知识蒸馏的一种变体，教师模型和学生模型共享同一套参数或结构，学生通过最小化与教师输出分布之间的KL散度来学习，使输出分布更平滑。
核心事实
时间轴 (近 90 天)
10月30日
标准MTP的梯度中包含两个成分：KL自蒸馏信号和噪声残差。
待验证50%
10月30日
KL自蒸馏信号有助于提升推测解码的接受率。
待验证50%
10月30日
Soft-MTP将KL自蒸馏信号与噪声残差解耦，使梯度反向传播时只流经KL自蒸馏部分。
待验证50%
9月7日
KL 散度用于比较微调后模型与原始模型在相同输入下的输出概率分布差异，数值越大表示偏离越严重，0.0244 的 KLD 意味着微调几乎没有改变模型的整体行为分布
已验证65%