Unverified50% confidenceFactExact time

Transformer架构的自注意力机制核心计算公式为 Attention(Q,K,V) = softmax(QKᵀ/√d_k)V，softmax函数将所有位置的注意力分数归一化为总和为1的概率分布

1

Sources

50%

Confidence

Medium-term (~90 days)

Relevance

7/3/2026

First Seen

Valid until: 10/1/2026

Sources

Claude Code会话回滚功能详解：配合Git工作流实战指南

bilibili啥都懂的程序员6/22/2026

Related Claims

UnverifiedTransformer架构中的自注意力（Self-Attention）层通过Softmax函数对所有位置的相关性分数进行归一化，当序列长度从几千Token膨胀到数万Token时，每个位置分配到的注意力权重被大幅稀释84% similar Unverified自注意力权重通过Softmax函数归一化，权重总和恒为178% similar VerifiedSelf-Attention的核心公式为Attention(Q,K,V) = softmax(QKᵀ/√dk)V，除以√dk是为了缓解点积值过大导致的梯度消失问题77% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/61978

API

curl https://kongchang.com/api/v1/knowledge/claims/61978

MCP

get_claim(id=61978)