已验证70% 置信事实精确时间
自注意力权重通过Softmax函数归一化，权重总和恒为1
4
来源数
70%
置信度
长期有效
时效性
2026/7/16
首次发现
来源
相关事实
已验证Self-Attention的核心公式为Attention(Q,K,V) = softmax(QKᵀ/√dk)V，除以√dk是为了缓解点积值过大导致的梯度消失问题73% 相似待验证MiniMax-01 和 Jamba 将线性注意力对 softmax 注意力的比例推到 7:1 或 8:1，并额外叠加了 MoE 结构。73% 相似待验证线性化注意力用核函数 φ(q)^T φ(k) 替代 softmax 中的 exp(q^T k)，将整体复杂度从 O(n²d) 降至 O(nd²)73% 相似待验证标准Softmax注意力在极长序列上存在注意力湮没（Attention Sink）问题，催生了Sliding Window Attention、RoPE外推、ALiBi等改进方案72% 相似待验证嵌入层的作用是将 token 映射为向量，注意力机制计算 token 之间的关联，Softmax 将分数转化为概率71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/530705API
curl https://kongchang.com/api/v1/knowledge/claims/530705MCP
get_claim(id=530705)