UpLoop

UpLoop是一种利用upcycling训练循环Transformer的预训练方案，在最终参数数量、总训练token数和训练FLOPs上与标准密集基线完全匹配。

在1.3B参数规模下，UpLoop在22个下游任务上的平均得分从基线的22.99提升到27.52。

经过监督微调（SFT）后，UpLoop带来的增益还能延伸到数学推理任务。

UpLoop的渐进式调度要求精心设计复制时机和循环引入点，以避免训练不稳定。

UpLoop目前主要验证了语言建模和数学推理场景，在更广泛任务上的泛化能力还有待进一步观察。