[控场AI]
模型Dragon Hatchling

BDH

Pathway提出的架构,用神经元图结构让注意力从局部交互中涌现,GPU实现等价于ReLU低秩加线性注意力

时间轴 (近 90 天)

10月6日

BDH(Dragon Hatchling)把高维神经元空间中的线性注意力与低秩的GPU实现结合,其循环注意力状态是一个N×D矩阵(N远大于D)而非N×N连接矩阵

待验证50%
10月6日

在BDH架构中,相关联的神经元活动会对连接产生类似赫布学习的更新,使工作记忆获得突触层面的解释

待验证50%
10月6日

BDH的状态在序列推理结束后并不会持久化到模型参数中,与生物突触的长时程变化有本质区别

待验证50%

全部知识事实 (3)

来源文章