待验证50% 置信事实精确时间
Softmax函数将输出层多个神经元的原始分数转换为概率分布:softmax(z_i) = e^{z_i} / Σ_j e^{z_j},配合交叉熵损失常用于多分类任务。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
用NumPy手搓神经网络:一次深入理解反向传播的实践
redditr/deeplearning2026/10/19
涉及实体
相关事实
待验证Softmax函数将神经网络logits压缩为概率分布,但其输出值在大规模模型中系统性偏离真实贝叶斯后验概率80% 相似待验证Softmax将一组输出转换为总和为1的概率分布,用于多分类任务的最后一层,不用于隐藏层。73% 相似待验证Softmax函数具有平移不变性,任意放大所有logit的尺度不改变预测类别,却会将输出概率压向极端值,是其天然的过度自信倾向72% 相似待验证当模型遇到分布外输入时预测熵升高,softmax输出趋于均匀分布,nucleus sampling允许的候选token范围扩大,使长尾异常token获得被采样的机会69% 相似待验证计算 softmax 函数时指数运算可能导致浮点数溢出,标准做法是先减去输入向量的最大值再取指数68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069371API
curl https://kongchang.com/api/v1/knowledge/claims/1069371MCP
get_claim(id=1069371)