待验证50% 置信事实精确时间
Softmax输出的概率值并不等同于真实的贝叶斯后验概率,而是被过度优化以拉开类别间距,导致预测概率系统性偏高
1
来源数
50%
置信度
长期有效
时效性
2026/7/8
首次发现
来源
元认知反馈:用强化学习让大模型准确表达不确定性
hackernewshackernews2026/7/7
相关事实
待验证Softmax函数具有平移不变性,任意放大所有logit的尺度不改变预测类别,却会将输出概率压向极端值,是其天然的过度自信倾向85% 相似待验证Softmax函数将神经网络logits压缩为概率分布,但其输出值在大规模模型中系统性偏离真实贝叶斯后验概率81% 相似待验证softmax操作在处理极端值时容易因精度不足产生数值溢出或下溢,这是早期FP8量化效果不理想的核心技术原因77% 相似待验证当模型遇到分布外输入时预测熵升高,softmax输出趋于均匀分布,nucleus sampling允许的候选token范围扩大,使长尾异常token获得被采样的机会72% 相似待验证结构化提示(角色设定+任务背景+约束条件+输出格式)能降低模型的解码不确定性,使 softmax 概率质量集中到预期输出区间72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/279889API
curl https://kongchang.com/api/v1/knowledge/claims/279889MCP
get_claim(id=279889)