待验证50% 置信事实精确时间
缩放因子√d的作用是防止点积结果随维度增大而变得过大，导致softmax输出趋近于one-hot、梯度消失。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证计算 softmax 函数时指数运算可能导致浮点数溢出，标准做法是先减去输入向量的最大值再取指数76% 相似待验证softmax操作在处理极端值时容易因精度不足产生数值溢出或下溢，这是早期FP8量化效果不理想的核心技术原因72% 相似待验证Softmax Collapse导致的梯度失衡可能让模型过早锁定在记忆解，延迟或阻止向泛化解的过渡。71% 相似待验证缩放点积将点积除以√d（d为嵌入维度），使点积方差保持在合理范围，让Softmax输出更平滑的概率分布以稳定训练69% 相似待验证在不使用权重衰减时，logit无界增长会导致标准softmax数值下溢，使梯度完全消失，表现为精度突然崩溃。69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1127268API
curl https://kongchang.com/api/v1/knowledge/claims/1127268MCP
get_claim(id=1127268)