[控场AI]
概念递归自训练 / self-training / 递归自微调

自训练

一种训练范式,语言模型在多代迭代中用自己的输出作为训练数据进行微调,常用于研究模型坍缩与分布偏移。

时间轴 (近 90 天)

11月9日

在自训练中,训练温度影响数据生成时的采样分布:温度 T 通过 p_i ∝ exp(z_i/T) 调整模型输出概率,T>1 使分布更平坦,T<1 使分布更尖锐。

待验证50%
11月9日

该研究使用英文GPT-2进行九代自训练,每代都在上一代输出上微调,并改变训练数据的采样温度;所有模型都用同一个固定采样器测量以确保公平比较。

待验证50%

全部知识事实 (2)

来源文章