循环Transformer
一种Transformer变体架构,允许模型在相同权重层上进行多次迭代,通过权重共享的循环结构在不显著增加参数量的前提下提升模型推理能力和有效计算深度
核心事实
时间轴 (近 90 天)
循环Transformer中,由于权重共享块被应用R次,总KV缓存量大致是标准模型的R倍。
循环Transformer通过反复应用权重共享块R次来实现大有效深度,每个循环步骤维护独立的KV缓存。
循环Transformer的“循环次数”与标准Transformer的“层数”在计算图上有本质区别:标准深层网络中每一层拥有独立参数,而循环架构中同一组层被反复调用,参数共享但计算图展开后的深度可变。
“单循环税”现象在小型循环Transformer设置下被复现,即单循环版本相对于多循环版本存在系统性性能折损。
在小型循环Transformer中,每一轮循环重新选择专家会带来可观测的性能差异。
循环Transformer存在三大限制:内存随循环次数增长、计算量只能整块调整、训练后难以改变循环次数。
循环模型的KV缓存沿循环轴存在高度冗余,且不同循环步骤对量化的敏感度差异很大。
循环Transformer每个循环步骤都需存储独立的KV缓存,导致KV缓存随循环步数线性增长。
在循环Transformer中,每多一次前向传播,训练浮点运算量(FLOPs)就会线性增加。
循环Transformer中,层共享权重,因此模型的总参数量不随循环次数增加。
还有 18 条时间轴事件
全部知识事实 (20)
自回归模型每多生成一个token就多获得一次Transformer前向传播的计算机会,用序列长度换取计算深度
85%已验证循环Transformer引入了循环深度(Recurrent Depth)的概念,允许模型在相同的层级结构中多次迭代处理信息
65%已验证循环Transformer通过重复使用相同的权重矩阵,可以在不大幅增加参数量的情况下实现更深层次的信息处理
65%待验证循环Transformer中,由于权重共享块被应用R次,总KV缓存量大致是标准模型的R倍。
50%待验证循环Transformer通过反复应用权重共享块R次来实现大有效深度,每个循环步骤维护独立的KV缓存。
50%待验证“单循环税”现象在小型循环Transformer设置下被复现,即单循环版本相对于多循环版本存在系统性性能折损。
50%待验证循环Transformer的“循环次数”与标准Transformer的“层数”在计算图上有本质区别:标准深层网络中每一层拥有独立参数,而循环架构中同一组层被反复调用,参数共享但计算图展开后的深度可变。
50%待验证在小型循环Transformer中,每一轮循环重新选择专家会带来可观测的性能差异。
50%待验证循环Transformer存在三大限制:内存随循环次数增长、计算量只能整块调整、训练后难以改变循环次数。
50%待验证循环Transformer每个循环步骤都需存储独立的KV缓存,导致KV缓存随循环步数线性增长。
50%待验证循环模型的KV缓存沿循环轴存在高度冗余,且不同循环步骤对量化的敏感度差异很大。
50%待验证循环Transformer中,层共享权重,因此模型的总参数量不随循环次数增加。
50%待验证UpLoop是一种利用upcycling训练循环Transformer的预训练方案,在最终参数数量、总训练token数和训练FLOPs上与标准密集基线完全匹配。
50%待验证在循环Transformer中,每多一次前向传播,训练浮点运算量(FLOPs)就会线性增加。
50%待验证CopyLoop的浅层筛选利用循环Transformer的 anytime 特性,在低深度上对复制候选打分,淘汰低概率候选,保留少数进入全深度验证。
50%待验证CopyLoop是一种免训练的解码加速算法,通过结合低成本上下文复制提议、浅层筛选与连续循环调度来加速循环Transformer的解码。
50%待验证在循环Transformer上,推测解码的验证过程需要全深度计算,且候选生成与验证之间存在严格的顺序依赖,导致并行优势被削弱。
50%待验证循环Transformer通过参数复用支持灵活推理计算,但如何在多个预算下保持强劲性能仍是未解难题。
50%待验证在标准Transformer中,每层只计算一次KV;而循环架构的同一组层会被执行多次,若循环4次则相当于存储4份KV缓存。
50%待验证循环UDLM通过递归复用早期Transformer层,在保持训练目标和采样器不变的前提下,将训练效率提升数倍。
50%