概念递归自训练 / self-training / 递归自微调
自训练
一种训练范式,语言模型在多代迭代中用自己的输出作为训练数据进行微调,常用于研究模型坍缩与分布偏移。
时间轴 (近 90 天)
11月9日
在自训练中,训练温度影响数据生成时的采样分布:温度 T 通过 p_i ∝ exp(z_i/T) 调整模型输出概率,T>1 使分布更平坦,T<1 使分布更尖锐。
待验证50%
11月9日
该研究使用英文GPT-2进行九代自训练,每代都在上一代输出上微调,并改变训练数据的采样温度;所有模型都用同一个固定采样器测量以确保公平比较。
待验证50%