概念Flow Training
流训练
一种将预训练自回归模型适配为连续流模型的训练方法,通过流匹配目标学习从噪声到数据的连续变换,并产生多token预测效应。
时间轴 (近 90 天)
10月21日
Lafa的训练从预训练的自回归模型出发,通过流训练进行适配,流训练通过多token预测效应保留甚至提升了预训练AR模型的能力。
待验证50%
一种将预训练自回归模型适配为连续流模型的训练方法,通过流匹配目标学习从噪声到数据的连续变换,并产生多token预测效应。
Lafa的训练从预训练的自回归模型出发,通过流训练进行适配,流训练通过多token预测效应保留甚至提升了预训练AR模型的能力。