[控场AI]
概念循环Transformer

Looped Transformer

一种让同一组网络层被反复循环调用的Transformer架构,在两次文本输出之间插入大量串行计算步骤,不增加参数量即可提升隐藏串行深度

时间轴 (近 90 天)

10月12日

Looped Transformer让同一组层被反复循环调用,从而在两次文本输出之间插入远多于常规前向传播的串行计算步骤。

待验证50%
10月12日

当前范式中'不透明串行深度'每年仅增长约1.2倍,而looped transformer可能带来10倍甚至更高的跃升。

待验证50%

全部知识事实 (2)

来源文章