锥体柱
大脑皮层中锥体神经元沿纵向排列形成的柱状集群,是皮层计算的基本模块,通过层间和柱间连接实现信号传递与整合。
时间轴 (近 90 天)
一篇最新论文提出假设:后颞叶语言区(PTLRs)中适当组织的锥体柱可能构成Transformer注意力头的生物学实现。
锥体柱是大脑皮层中纵向排列的锥体神经元集群,是皮层计算的基本模块,在感觉皮层中已有广泛研究(如视觉皮层的朝向柱)。
论文识别了锥体柱内部及柱间可能支持注意力头功能架构的候选神经机制,包括信号传输和调制方式,这些机制的组合可能对应注意力头中的查询-键-值交互和输出加权过程。
功能架构的机械实现与数学实例化可以分离:即使PTLRs中的锥体柱构成注意力头的生物学实现,也不应期望在神经活动中看到精确的softmax函数,而应寻找功能等价的计算关系。
如果锥体柱确实构成注意力头的生物实现,则意味着注意力机制可以在不依赖全局softmax归一化的情况下,通过局部竞争性抑制和增益调制等生物合理的机制实现。
机械等价性的判断依赖于干预性实验:若特定神经连接被扰动后系统输出变化模式与注意力头中相应权重的扰动效果一致,则可认为机械实现成立。
全部知识事实 (6)
一篇最新论文提出假设:后颞叶语言区(PTLRs)中适当组织的锥体柱可能构成Transformer注意力头的生物学实现。
50%待验证锥体柱是大脑皮层中纵向排列的锥体神经元集群,是皮层计算的基本模块,在感觉皮层中已有广泛研究(如视觉皮层的朝向柱)。
50%待验证论文识别了锥体柱内部及柱间可能支持注意力头功能架构的候选神经机制,包括信号传输和调制方式,这些机制的组合可能对应注意力头中的查询-键-值交互和输出加权过程。
50%待验证功能架构的机械实现与数学实例化可以分离:即使PTLRs中的锥体柱构成注意力头的生物学实现,也不应期望在神经活动中看到精确的softmax函数,而应寻找功能等价的计算关系。
50%待验证机械等价性的判断依赖于干预性实验:若特定神经连接被扰动后系统输出变化模式与注意力头中相应权重的扰动效果一致,则可认为机械实现成立。
50%待验证如果锥体柱确实构成注意力头的生物实现,则意味着注意力机制可以在不依赖全局softmax归一化的情况下,通过局部竞争性抑制和增益调制等生物合理的机制实现。
50%