概念KL蒸馏
KL 蒸馏
一种知识蒸馏方法，用原全注意力模型作为教师，让学生模型模仿教师的输出分布，损失为KL散度。
时间轴 (近 90 天)
11月2日
ZHA 只需在几千亿 token 量级上进行简短的 KL 蒸馏训练，即可应用到现有预训练模型，无需从头预训练。
待验证50%
11月2日
KL 蒸馏使用原全注意力模型作为教师，让替换为 ZHA 结构的学生模型模仿教师下一 token 分布，损失为 KL 散度。
待验证50%
一种知识蒸馏方法，用原全注意力模型作为教师，让学生模型模仿教师的输出分布，损失为KL散度。
ZHA 只需在几千亿 token 量级上进行简短的 KL 蒸馏训练，即可应用到现有预训练模型，无需从头预训练。
KL 蒸馏使用原全注意力模型作为教师，让替换为 ZHA 结构的学生模型模仿教师下一 token 分布，损失为 KL 散度。