待验证50% 置信事实精确时间

缩放点积将点积除以√d（d为嵌入维度），使点积方差保持在合理范围，让Softmax输出更平滑的概率分布以稳定训练

1

来源数

50%

置信度

长期有效

时效性

2026/8/7

首次发现

来源

Transformer注意力机制详解：从词向量到QKV完整拆解

相关事实

待验证计算 softmax 函数时指数运算可能导致浮点数溢出，标准做法是先减去输入向量的最大值再取指数68% 相似待验证朴素贝叶斯中需要使用对数概率空间来规避连乘小概率值导致的下溢67% 相似已验证Attention公式中除以√d_k的原因是防止点积过大导致softmax梯度消失66% 相似待验证对于小目标应将大图切成有重叠的1008px小块分别推理后合并掩码，绝对不要直接resize，否则会得到自信但模糊的边界或摧毁小目标65% 相似待验证Softmax函数具有平移不变性，任意放大所有logit的尺度不改变预测类别，却会将输出概率压向极端值，是其天然的过度自信倾向65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/704267

API

curl https://kongchang.com/api/v1/knowledge/claims/704267

MCP

get_claim(id=704267)