概念Scaled Dot-Product Attention
缩放点积注意力
Transformer中标准的注意力计算形式，将查询与键的点积除以维度平方根后经softmax归一化，再对值加权求和
时间轴 (近 90 天)
11月3日
缩放因子用于防止高维点积过大导致softmax梯度消失。
待验证50%
11月2日
缩放因子√d的作用是防止点积结果随维度增大而变得过大，导致softmax输出趋近于one-hot、梯度消失。
待验证50%
11月2日
缩放点积注意力中的缩放因子（1/√d）仅解决维度问题，不解决特征尺度问题，因此协同设计归一化与编码至关重要。
待验证50%