已验证75% 置信事实精确时间
Self-Attention的核心公式为Attention(Q,K,V) = softmax(QKᵀ/√dk)V，除以√dk是为了缓解点积值过大导致的梯度消失问题
5
来源数
75%
置信度
长期有效
时效性
2026/7/13
首次发现
来源
AI应用开发工程师核心能力拆解：从入门到工业级落地
bilibiliAI大模型-开发2026/7/11
相关事实
待验证线性化注意力用核函数 φ(q)^T φ(k) 替代 softmax 中的 exp(q^T k)，将整体复杂度从 O(n²d) 降至 O(nd²)76% 相似待验证标准 Scaled Dot-Product Attention 中 Q 与 K 做矩阵乘法得到 n×n 注意力分数矩阵，计算量为 O(n²·d)74% 相似已验证自注意力权重通过Softmax函数归一化，权重总和恒为173% 相似待验证完整的自注意力流水线为：输入矩阵 → Q/K/V投影 → Q×K^T → 除以√dk → Softmax → 乘以V → 上下文丰富的输出。70% 相似待验证Qwen3-Next 和 Kimi Linear 都采用 3:1 的线性注意力对 softmax 注意力比例。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/500052API
curl https://kongchang.com/api/v1/knowledge/claims/500052MCP
get_claim(id=500052)