待验证50% 置信事实精确时间
在知识蒸馏中，当学生logits与教师logits完全相等时，标准softmax实现会产生非零的虚假梯度。
1
来源数
50%
置信度
长期有效
时效性
2026/10/23
首次发现
来源
涉及实体
相关事实
待验证Softmax函数具有平移不变性，任意放大所有logit的尺度不改变预测类别，却会将输出概率压向极端值，是其天然的过度自信倾向68% 相似待验证交叉编码器输出的logit在softmax归一化后对引用概率呈指数级放大效应，因此微小的向量相似度差异不足以决定胜负。67% 相似待验证该神经网络能力上限被Minimax数据锁定，最多只能逼近教师算法水平而无法超越66% 相似已验证样本过于简单则模型无学习价值，过于困难则可能引入噪声学习信号干扰训练，最有效的学习发生在略高于当前能力但仍可企及的区域63% 相似待验证LLM进行数学计算时依赖从训练数据学到的模式匹配，而非执行确定性算术逻辑，面对罕见组合（如大数乘法）准确率会急剧下降63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1088266API
curl https://kongchang.com/api/v1/knowledge/claims/1088266MCP
get_claim(id=1088266)