概念循环Transformer
Looped Transformer
一种让同一组网络层被反复循环调用的Transformer架构,在两次文本输出之间插入大量串行计算步骤,不增加参数量即可提升隐藏串行深度
时间轴 (近 90 天)
10月12日
Looped Transformer让同一组层被反复循环调用,从而在两次文本输出之间插入远多于常规前向传播的串行计算步骤。
待验证50%
10月12日
当前范式中'不透明串行深度'每年仅增长约1.2倍,而looped transformer可能带来10倍甚至更高的跃升。
待验证50%