循环架构

循环架构通过将激活反复送入同一组层来提升模型质量，而不增加参数量。

循环架构在推理时每次循环都独立生成KV缓存，内存占用随循环深度线性增长。

在标准Transformer中，每层只计算一次KV；而循环架构的同一组层会被执行多次，若循环4次则相当于存储4份KV缓存。

KV可共享性在循环模型中并不稳定：即使架构相同、训练方式相同，有些模型具备该性质，有些不具备。

循环架构的思想可追溯到 Universal Transformer 与 Deep Equilibrium Models，通过增加计算深度而不增加参数数量来提升推理能力。