待验证50% 置信事实精确时间
缩放点积注意力中的缩放因子（1/√d）仅解决维度问题，不解决特征尺度问题，因此协同设计归一化与编码至关重要。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证MAE 的局限在于解码器主要依赖全局自注意力，对局部纹理与边缘等细粒度结构先验利用不足。71% 相似已验证Self-Attention的核心公式为Attention(Q,K,V) = softmax(QKᵀ/√dk)V，除以√dk是为了缓解点积值过大导致的梯度消失问题70% 相似待验证分块处理原理是将特征图在空间维度切分为子块独立计算再拼合，峰值显存占用随块数增加而线性下降，但需重叠采样避免拼接缝且总计算量略增69% 相似已验证标准自注意力的计算复杂度为序列长度的平方，实现百万Token上下文需引入稀疏注意力、滑动窗口注意力及KV Cache压缩等技术69% 相似待验证注意力权重大的条目不一定对矩阵乘法后的输出贡献最大，权重与输出贡献是两个不同的量68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1126652API
curl https://kongchang.com/api/v1/knowledge/claims/1126652MCP
get_claim(id=1126652)