Softmax
Softmax是一种数学激活函数，能够将一组任意实数向量转换为概率分布，使所有输出值介于0到1之间且总和为1。其核心机制是对每个输入值取指数后再归一化，从而突出较大值之间的差异。Softmax广泛应用于机器学习和深度神经网络中，尤其常作为多分类模型的输出层激活函数，用于表达模型对各类别的预测置信度。
核心事实
时间轴 (近 90 天)
评估采用了线性分类器配合Softmax输出，并确保信号级别的数据划分完全一致。
隐藏层激活函数选择建议：从ReLU开始，若神经元大量死亡则尝试Leaky ReLU；二分类输出用Sigmoid；多分类输出用Softmax；回归输出不用激活函数。
Softmax将一组输出转换为总和为1的概率分布，用于多分类任务的最后一层，不用于隐藏层。
Softmax倾向于产生赢家通吃的尖锐分布，而平方归一化的分布形态可能更分散或更集中
玻恩规则的模平方天然非负，归一化后自动满足概率分布约束，无需像Softmax那样依赖指数函数来强制保证非负性
一位Reddit开发者尝试用量子力学的玻恩规则（|⟨Q,K⟩|²）替代Transformer中的Softmax注意力机制，并声称该模型能够训练
用ReLU替换Softmax的尝试（ReLUformer）虽然能训练，但需要额外的归一化技巧才能稳定
点积可以为负，Softmax通过指数将其映射为小正数，而取模平方会让正负内积产生对称的权重贡献
分类头通常是一个简单的全连接层加Softmax激活，将高维特征向量映射到各类别的概率分布
Decoder 场景下需引入 Mask 矩阵，将当前词之后的位置赋值为负无穷，经 Softmax 后趋近于 0，形成因果生成效果
还有 10 条时间轴事件
全部知识事实 (20)
自注意力权重通过Softmax函数归一化，权重总和恒为1
70%已验证Self-Attention的核心操作是计算查询向量与键向量之间的点积相似度，再以此为权重对值向量进行加权求和
65%待验证softmax操作在处理极端值时容易因精度不足产生数值溢出或下溢，这是早期FP8量化效果不理想的核心技术原因
60%待验证评估采用了线性分类器配合Softmax输出，并确保信号级别的数据划分完全一致。
50%待验证Softmax将一组输出转换为总和为1的概率分布，用于多分类任务的最后一层，不用于隐藏层。
50%待验证隐藏层激活函数选择建议：从ReLU开始，若神经元大量死亡则尝试Leaky ReLU；二分类输出用Sigmoid；多分类输出用Softmax；回归输出不用激活函数。
50%待验证Softmax倾向于产生赢家通吃的尖锐分布，而平方归一化的分布形态可能更分散或更集中
50%待验证玻恩规则的模平方天然非负，归一化后自动满足概率分布约束，无需像Softmax那样依赖指数函数来强制保证非负性
50%待验证用ReLU替换Softmax的尝试（ReLUformer）虽然能训练，但需要额外的归一化技巧才能稳定
50%待验证点积可以为负，Softmax通过指数将其映射为小正数，而取模平方会让正负内积产生对称的权重贡献
50%待验证分类头通常是一个简单的全连接层加Softmax激活，将高维特征向量映射到各类别的概率分布
50%待验证Decoder 场景下需引入 Mask 矩阵，将当前词之后的位置赋值为负无穷，经 Softmax 后趋近于 0，形成因果生成效果
50%待验证VQ 训练中逐步退火 tau 参数，并用 Softmax 保证所有量化档位持续接收梯度
50%待验证Softmax提供的非线性归一化和竞争性注意力分配是Transformer表现优异的重要原因之一
50%待验证在标准Transformer架构中，Softmax操作负责将注意力分数归一化为概率分布，决定每个token对其他token的关注程度
50%待验证Softmax涉及指数运算、逐行归一化以及全局依赖，难以并行化和量化，在长序列场景下尤其消耗资源
50%待验证静态收缩（Static Contraction）指用预先确定的、结构化的张量收缩操作来替代或规避运行时的动态Softmax归一化
50%待验证嵌入层的作用是将 token 映射为向量，注意力机制计算 token 之间的关联，Softmax 将分数转化为概率
50%待验证采样逻辑(Top-K、Top-P、Softmax)在CPU上执行,由于只处理单个概率向量(约200KB数据),耗时通常小于5ms
50%待验证CLIP使用softmax进行全局归一化,当批次中存在多个合理正样本对时,会人为降低这些正样本的概率,可能导致次优表示
50%