AsymLoop
一种循环Transformer架构，将单遍上下文编码与循环状态细化分离，使用固定全局KV缓存和权重绑定循环解码器生成局部KV，通过联合注意力整合两者。
时间轴 (近 90 天)
论文提出了非对称循环Transformer（AsymLoop），将单遍上下文编码与循环状态细化分离。
AsymLoop使用单遍因果编码器生成层特定的全局KV缓存，这些缓存在整个迭代过程中保持不变。
AsymLoop的解码器是权重绑定的循环模块，其隐藏状态在每次迭代中更新，并据此生成局部KV。
AsymLoop通过单一softmax对全局KV和局部KV进行联合注意力，使每次更新整合持久上下文与当前中间状态。
AsymLoop的分离设计带来计算效率：全局KV只需计算一次，循环迭代中仅需更新局部KV和状态。
AsymLoop的固定全局缓存为迭代过程提供了不变的上下文锚点，避免了全栈循环中上下文表示随迭代漂移的问题。
作者对编码器和解码器应用了重尾引导的逐层学习率方法，以协调两部分不同的学习动态。
在匹配有效深度和训练token预算的条件下，AsymLoop比全循环（Full Loop）表现出更低的验证困惑度和更高的平均下游准确率。
在1B规模下，AsymLoop在七个常识推理基准上的平均零样本准确率从49.58%提升至50.85%（相比全循环）。
作者将实验扩展到更长的训练预算、OLMo风格的骨干网络以及稀疏混合专家（MoE）模型，均观察到一致的收益。
还有 2 条时间轴事件
全部知识事实 (12)
论文提出了非对称循环Transformer（AsymLoop），将单遍上下文编码与循环状态细化分离。
50%待验证AsymLoop使用单遍因果编码器生成层特定的全局KV缓存，这些缓存在整个迭代过程中保持不变。
50%待验证AsymLoop的解码器是权重绑定的循环模块，其隐藏状态在每次迭代中更新，并据此生成局部KV。
50%待验证AsymLoop通过单一softmax对全局KV和局部KV进行联合注意力，使每次更新整合持久上下文与当前中间状态。
50%待验证AsymLoop的分离设计带来计算效率：全局KV只需计算一次，循环迭代中仅需更新局部KV和状态。
50%待验证AsymLoop的固定全局缓存为迭代过程提供了不变的上下文锚点，避免了全栈循环中上下文表示随迭代漂移的问题。
50%待验证作者对编码器和解码器应用了重尾引导的逐层学习率方法，以协调两部分不同的学习动态。
50%待验证在匹配有效深度和训练token预算的条件下，AsymLoop比全循环（Full Loop）表现出更低的验证困惑度和更高的平均下游准确率。
50%待验证在1B规模下，AsymLoop在七个常识推理基准上的平均零样本准确率从49.58%提升至50.85%（相比全循环）。
50%待验证作者将实验扩展到更长的训练预算、OLMo风格的骨干网络以及稀疏混合专家（MoE）模型，均观察到一致的收益。
50%待验证AsymLoop提出了一种设计原则：循环计算中的不同功能模块不应被同等对待，上下文编码是单遍静态的，状态细化是迭代动态的。
50%待验证将AsymLoop扩展到MoE骨干意味着循环解码器中的层本身也是稀疏激活的，这进一步放大了参数效率。
50%