Unverified50% confidenceFactExact time
自回归生成中通过softmax和argmax从连续隐藏状态选择离散token是一次硬量化操作，会不可逆地丢失大量精细的中间信息
1
Sources
50%
Confidence
Long-term
Relevance
8/11/2026
First Seen
Sources
Related Claims
Unverifiedsoftmax操作在处理极端值时容易因精度不足产生数值溢出或下溢，这是早期FP8量化效果不理想的核心技术原因69% similarUnverified计算 softmax 函数时指数运算可能导致浮点数溢出，标准做法是先减去输入向量的最大值再取指数67% similarUnverifiedSoftmax函数具有平移不变性，任意放大所有logit的尺度不改变预测类别，却会将输出概率压向极端值，是其天然的过度自信倾向67% similarUnverified当前主流大模型在处理孤立、边界清晰的小任务时表现出色，但面对高度耦合、上下文庞大的遗留系统时会暴露理解不完整、细节丢失的短板67% similarUnverifiedSoftmax函数将神经网络logits压缩为概率分布，但其输出值在大规模模型中系统性偏离真实贝叶斯后验概率67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/729943API
curl https://kongchang.com/api/v1/knowledge/claims/729943MCP
get_claim(id=729943)