Unverified50% confidenceFactExact time
softmax操作在处理极端值时容易因精度不足产生数值溢出或下溢，这是早期FP8量化效果不理想的核心技术原因
1
Sources
50%
Confidence
Long-term
Relevance
7/11/2026
First Seen
Sources
Krea2实测：FP8与BF16画质差距还存在吗？
redditr/StableDiffusion7/9/2026
Related Claims
Unverified计算 softmax 函数时指数运算可能导致浮点数溢出，标准做法是先减去输入向量的最大值再取指数79% similarUnverifiedSoftmax输出的概率值并不等同于真实的贝叶斯后验概率，而是被过度优化以拉开类别间距，导致预测概率系统性偏高77% similarUnverifiedSoftmax函数具有平移不变性，任意放大所有logit的尺度不改变预测类别，却会将输出概率压向极端值，是其天然的过度自信倾向72% similarUnverified自回归生成中通过softmax和argmax从连续隐藏状态选择离散token是一次硬量化操作，会不可逆地丢失大量精细的中间信息69% similarUnverified量化的核心挑战在于处理权重分布中的异常值，LLM权重中少量极大值会显著放大量化误差68% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/475413API
curl https://kongchang.com/api/v1/knowledge/claims/475413MCP
get_claim(id=475413)