待验证50% 置信事实精确时间
自回归生成中通过softmax和argmax从连续隐藏状态选择离散token是一次硬量化操作，会不可逆地丢失大量精细的中间信息
1
来源数
50%
置信度
长期有效
时效性
2026/8/11
首次发现
来源
相关事实
待验证softmax操作在处理极端值时容易因精度不足产生数值溢出或下溢，这是早期FP8量化效果不理想的核心技术原因69% 相似待验证计算 softmax 函数时指数运算可能导致浮点数溢出，标准做法是先减去输入向量的最大值再取指数67% 相似待验证Softmax函数具有平移不变性，任意放大所有logit的尺度不改变预测类别，却会将输出概率压向极端值，是其天然的过度自信倾向67% 相似待验证当前主流大模型在处理孤立、边界清晰的小任务时表现出色，但面对高度耦合、上下文庞大的遗留系统时会暴露理解不完整、细节丢失的短板67% 相似待验证Softmax函数将神经网络logits压缩为概率分布，但其输出值在大规模模型中系统性偏离真实贝叶斯后验概率67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/729943API
curl https://kongchang.com/api/v1/knowledge/claims/729943MCP
get_claim(id=729943)