模型
Universal Transformer
一种改进的Transformer架构，在深度维度上引入循环机制，允许模型对同一层反复应用，以实现自适应计算量和更强的推理能力
时间轴 (近 90 天)
10月9日
循环语言模型的架构灵感来源于Universal Transformer和DEQ（Deep Equilibrium Model）等早期工作
待验证50%
9月13日
Universal Transformer早已探索过跨层权重共享（参数共享）
待验证50%
9月4日
Universal Transformer通过权重共享（weight tying）让所有循环步骤复用同一组参数，在不增加参数量的前提下增加计算深度
待验证50%
9月4日
2019年Dehghani等人提出的Universal Transformer首次将Transformer层设计为可重复执行的循环单元，并引入自适应计算时间机制动态决定循环次数
待验证50%