模型Dragon Hatchling
BDH
Pathway提出的架构,用神经元图结构让注意力从局部交互中涌现,GPU实现等价于ReLU低秩加线性注意力
时间轴 (近 90 天)
10月6日
BDH(Dragon Hatchling)把高维神经元空间中的线性注意力与低秩的GPU实现结合,其循环注意力状态是一个N×D矩阵(N远大于D)而非N×N连接矩阵
待验证50%
10月6日
在BDH架构中,相关联的神经元活动会对连接产生类似赫布学习的更新,使工作记忆获得突触层面的解释
待验证50%
10月6日
BDH的状态在序列推理结束后并不会持久化到模型参数中,与生物突触的长时程变化有本质区别
待验证50%