概念Looped Language Models / 循环语言模型
LoopLMs
一类通过在多个递归计算步骤间复用共享参数的语言模型架构，能在不显著增加参数量的前提下加深推理能力，天然支持测试时计算扩展
时间轴 (近 90 天)
10月9日
循环语言模型的架构灵感来源于Universal Transformer和DEQ（Deep Equilibrium Model）等早期工作
待验证50%
10月9日
LoopLMs中12层的参数量可以模拟出48层的计算深度，因为参数在每次递归中被共享复用
待验证50%
10月9日
LoopLMs后训练面临的根本挑战是共享参数意味着对任意一个循环深度的梯度更新会同时影响所有深度的行为，容易出现层级间干涉效应
待验证50%