[控场AI]
概念Hyper-Connections

超连接

一种改进Transformer残差通路的技术,通过引入多条并行残差流或可学习的连接权重来增强垂直方向信息流动的表达能力。

时间轴 (近 90 天)

11月13日

Recursive 使用从约 4 亿参数起步的模型阶梯验证架构变化,超连接变体在小规模上效果良好,但在 40 亿参数以上完全失效,因此被放弃。

待验证50%

全部知识事实 (1)

来源文章