头级分数调制

一篇题为《Efficient Edge-aware Attention Network for Graph Generation》的研究提出了一种边感知注意力层，通过头级分数调制注入结构信息，并用轻量残差机制更新边表示。

头级分数调制指在多头注意力中为每个注意力头分配独立的调制参数或函数，对注意力分数施加不同的变换，而非所有头共享同一套结构注入方式。

头级分数调制相比在分数上叠加统一的边偏置，允许不同头关注不同类型的边关系或子图模式，增强了模型对异构结构信息的表达能力，且天然兼容标准注意力内核的分块计算流程。