待验证50% 置信事实精确时间
置信度门控蒸馏只有当教师模型对样本的预测置信度超过阈值时，该样本的蒸馏信号才被纳入训练
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证教师强制引入了暴露偏差问题：训练时输入真实目标词，推理时输入模型自己预测的词，预测出错会在后续步骤累积放大77% 相似待验证蒸馏训练范式导致开源模型学习到经过高度过滤、几乎不包含失败和纠错过程的数据分布，使模型形成不愿自我纠正的性格74% 相似待验证过拟合的统计原理是当模型参数量相对训练数据过多时，模型会记住噪声而非学到规律72% 相似待验证通过蒸馏获得的学生模型往往只继承教师模型的能力，而无法复制其经过RLHF等方法植入的安全对齐机制72% 相似待验证改善模型校准的研究方向包括通过监督微调引入不确定性标记、使用温度采样对概率分布进行后校准，以及训练模型主动输出拒绝回答的能力72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1003161API
curl https://kongchang.com/api/v1/knowledge/claims/1003161MCP
get_claim(id=1003161)