概念attention dilution
注意力弥散
注意力机制中的一种现象：当输入规模增大时，softmax归一化使注意力权重被摊薄，熵升高，模型难以聚焦关键节点，导致性能下降
时间轴 (近 90 天)
10月21日
研究团队以CVRP作为受控代理，系统排查出跨尺度泛化退化的三个因素：节点密度偏移、注意力弥散和均值池化图上下文稀释。
待验证50%
注意力机制中的一种现象：当输入规模增大时，softmax归一化使注意力权重被摊薄，熵升高，模型难以聚焦关键节点，导致性能下降
研究团队以CVRP作为受控代理，系统排查出跨尺度泛化退化的三个因素：节点密度偏移、注意力弥散和均值池化图上下文稀释。