概念Hyper-Connections
超连接
一种改进Transformer残差通路的技术,通过引入多条并行残差流或可学习的连接权重来增强垂直方向信息流动的表达能力。
时间轴 (近 90 天)
11月13日
Recursive 使用从约 4 亿参数起步的模型阶梯验证架构变化,超连接变体在小规模上效果良好,但在 40 亿参数以上完全失效,因此被放弃。
待验证50%
一种改进Transformer残差通路的技术,通过引入多条并行残差流或可学习的连接权重来增强垂直方向信息流动的表达能力。
Recursive 使用从约 4 亿参数起步的模型阶梯验证架构变化,超连接变体在小规模上效果良好,但在 40 亿参数以上完全失效,因此被放弃。