Soft-MTP
一种改进多Token预测（MTP）训练的方法，通过修改隐藏状态的残差连接（h_ntp += h_mtp.detach() - h_mtp）将KL自蒸馏信号与噪声残差解耦，使梯度仅流经有益的KL自蒸馏部分，从而在不增加计算开销的情况下提升跨任务性能。
时间轴 (近 90 天)
Soft-MTP通过一行代码改动（h_ntp += h_mtp.detach() - h_mtp）即可分离KL自蒸馏梯度。
Soft-MTP不需要重新设计模型结构或额外训练阶段，现有MTP预训练流程可直接套用。
Soft-MTP在多种任务上都能改进MTP的表现。
Soft-MTP的收益依赖于MTP头与NTP头共享主干网络这一前提。
梯度路由的改变可能影响训练稳定性，尤其在训练初期损失曲面较陡峭时，建议从小规模实验开始验证。
研究团队已开源Soft-MTP的代码、论文和HuggingFace模型集合。
通过修改隐藏状态的残差连接，使用一行代码 `h_ntp += h_mtp.detach() - h_mtp` 可以实现Soft-MTP。
表达式 `h_mtp.detach() - h_mtp` 在数值上恒为零，前向传播时隐藏状态不变，但反向传播时梯度以取负方式流经MTP分支。
Soft-MTP将KL自蒸馏信号与噪声残差解耦，使梯度反向传播时只流经KL自蒸馏部分。
Soft-MTP不增加前向或反向的计算量，不引入新参数，也不改变推理时的模型结构。
还有 2 条时间轴事件
全部知识事实 (12)
梯度路由的改变可能影响训练稳定性，尤其在训练初期损失曲面较陡峭时，建议从小规模实验开始验证。
50%待验证Soft-MTP通过一行代码改动（h_ntp += h_mtp.detach() - h_mtp）即可分离KL自蒸馏梯度。
50%待验证Soft-MTP不需要重新设计模型结构或额外训练阶段，现有MTP预训练流程可直接套用。
50%待验证Soft-MTP在多种任务上都能改进MTP的表现。
50%待验证Soft-MTP的收益依赖于MTP头与NTP头共享主干网络这一前提。
50%待验证通过修改隐藏状态的残差连接，使用一行代码 `h_ntp += h_mtp.detach() - h_mtp` 可以实现Soft-MTP。
50%待验证表达式 `h_mtp.detach() - h_mtp` 在数值上恒为零，前向传播时隐藏状态不变，但反向传播时梯度以取负方式流经MTP分支。
50%待验证Soft-MTP将KL自蒸馏信号与噪声残差解耦，使梯度反向传播时只流经KL自蒸馏部分。
50%待验证Soft-MTP不增加前向或反向的计算量，不引入新参数，也不改变推理时的模型结构。
50%待验证Soft-MTP在多种任务上均优于标准MTP，但原始素材未披露具体基准测试数据。
50%待验证Soft-MTP的效果依赖于原有MTP头的训练质量，若MTP头欠拟合，可分离出的KL信号有限。
50%待验证研究团队已开源Soft-MTP的代码、论文和HuggingFace模型集合。
50%