非对称循环Transformer：固定全局表示，迭代解码新范式

循环Transformer通过重复应用共享层来增加有效深度，从而在不增加参数量的情况下扩展计算。然而，全栈循环将上下文构建与迭代状态细化置于同一循环计算中，未明确区分二者角色。一篇新论文提出了非对称循环Transformer（AsymLoop），将单遍上下文编码与循环状态细化分离，为循环语言模型的设计提供了新思路。

全栈循环的局限与AsymLoop的提出

循环Transformer的核心思想是权重共享的循环计算：同一组层被反复应用，从而以更少的参数获得更大的有效深度。但问题在于，这种全栈循环把两件不同的事情混在了一起——一是对输入序列的上下文编码，二是对中间状态的迭代优化。前者本质上是一次性的、确定性的过程，后者则需要反复调整。将二者捆绑在同一个循环中，模型无法为它们分配不同的计算资源或学习动态。

AsymLoop的解决方案很直接：拆开。它使用一个单遍因果编码器生成层特定的全局键值（KV）缓存，这些缓存在整个迭代过程中保持不变；同时，一个权重绑定的循环解码器从其演化状态中生成局部KV。通过单一softmax对两个来源进行联合注意力，每次更新都能将持久的上下文信息与当前中间状态整合起来。这种设计让上下文编码只需一次，而状态细化可以反复进行。

KV缓存（Key-Value Cache）是Transformer推理中的一种常用加速技术。在自回归生成时，模型每生成一个新token都需要对之前所有token计算注意力；由于历史token的键（Key）和值（Value）投影不会随新token改变，可以将其缓存起来复用，避免重复计算。在循环Transformer中，KV缓存的概念被扩展到层级别：每一层产生自己的KV表示，供后续注意力查询。AsymLoop的关键改动在于把这份缓存分为两类——由单遍编码器一次性生成、全程冻结的全局KV，以及由循环解码器每次迭代重新生成的局部KV，从而在缓存复用与状态更新之间取得平衡。

技术细节：固定全局KV与局部KV的联合注意力

AsymLoop的架构可以理解为编码器-解码器的非对称分工。编码器是单遍前向的因果结构，它为每一层输出全局KV缓存，并在后续所有迭代中固定不变。解码器则是权重绑定的循环模块，其隐藏状态在每次迭代中更新，并据此生成局部KV。注意力机制同时关注全局和局部两个KV来源，通过同一个softmax归一化，使模型在每一步都能同时利用原始上下文和当前中间表示。

这种分离带来的一个直接好处是计算效率：全局KV只需计算一次，循环迭代中仅需更新局部KV和状态。另一个好处是表示稳定性：固定的全局缓存为迭代过程提供了不变的上下文锚点，避免了全栈循环中上下文表示随迭代漂移的问题。

在训练方面，作者对编码器和解码器应用了重尾引导的逐层学习率方法（heavy-tail-guided layerwise learning-rate），以协调两部分不同的学习动态。

重尾引导的逐层学习率（heavy-tail-guided layerwise learning-rate）是一种针对深层或循环网络的训练技巧。循环结构中同一组权重被多次应用，不同“有效层”对梯度的敏感度并不相同：靠近输入的层往往需要更稳定的更新，靠近输出的层则可能需要更大的步长来适应快速变化的状态。该方法依据梯度或损失分布的“重尾”特征（即存在少数幅度极大的更新信号）来为各层分配不同的学习率，抑制极端梯度对训练的干扰。在AsymLoop中，编码器与解码器的学习动态差异显著，这一方法被用来协调二者，使单遍编码器与循环解码器能够同步收敛。

实验结果：更低的困惑度与更高的下游准确率

论文在FineWeb-Edu数据集上进行了四个模型规模的实验，从60M到1B参数。在匹配有效深度和训练token预算的条件下，AsymLoop consistently 表现出比全循环（Full Loop）更低验证困惑度和更高的平均下游准确率。

具体来说，在1B规模下，AsymLoop在七个常识推理基准上的平均零样本准确率从49.58%提升至50.85%。此外，作者还将实验扩展到更长的训练预算、OLMo风格的骨干网络以及稀疏混合专家（MoE）模型，均观察到一致的收益。这些结果支持将非对称上下文编码与状态细化作为循环语言模型的一种有效设计。

稀疏混合专家（Mixture-of-Experts, MoE）是一种在保持推理计算量可控的前提下扩大模型参数容量的架构。它由多个“专家”前馈网络和一个门控路由组成，每个token只激活其中少数几个专家，因此总参数量可以远大于实际参与计算的参数量。将AsymLoop扩展到MoE骨干上，意味着循环解码器中的层本身也是稀疏激活的，这进一步放大了“参数效率”这一主题：既通过权重共享的循环减少参数，又通过稀疏激活减少每次前向的计算。作者在这一设定下仍观察到一致收益，说明非对称循环的设计与稀疏化并不冲突，可以叠加使用。

对循环语言模型设计的启示

AsymLoop的价值不仅在于性能数字，更在于它提出了一种设计原则：循环计算中的不同功能模块不应被同等对待。上下文编码是单遍的、静态的，状态细化是迭代的、动态的，二者对计算和参数的需求不同。将二者分离，既保留了循环结构在有效深度上的优势，又避免了功能耦合带来的表示漂移和计算浪费。

这一思路可能启发更多非对称循环架构的变体，例如在编码器或解码器侧引入不同的循环策略，或将固定全局表示的思想扩展到多模态或长上下文场景。对于追求高效推理和参数利用率的研究者与工程师而言，AsymLoop提供了一个值得关注的基线。