概念Mixture of Depths Attention
MoDA
一种在Transformer架构中动态分配计算资源的注意力机制,允许模型根据内容重要性决定token在各层的参与深度,实现按需计算以提升推理效率
时间轴 (近 90 天)
10月8日
BRaVeS借鉴MoDA(Mixture of Depths Attention)风格的深度感知访问机制,以确保安全锚点在任意推理深度都不消失,论文将其作为候选方案而非已实现方案
待验证50%
10月8日
MoDA是一种在Transformer架构中根据内容重要性动态分配计算资源的注意力机制,允许部分token跳过某些层的注意力计算
待验证50%