待验证50% 置信事实精确时间
温度参数T控制softmax的平滑程度，较高的T值会让概率分布更平滑，暴露更多关于教师模型内部决策逻辑的信息。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
已验证模型蒸馏通过温度缩放软化教师模型的softmax输出，使低概率类别信息得以传递给学生模型72% 相似待验证模型蒸馏的核心在于温度softmax函数的应用,通过温度参数T软化概率分布揭示类别间的相似性关系70% 相似待验证温度是控制语言模型输出随机性的超参数，作用于logits，将logit除以温度T再经softmax归一化；T<1时分布更尖锐输出更确定，T>1时分布更平坦输出更随机66% 相似待验证LLM基于Transformer架构的自注意力机制和Softmax概率分布，通过温度参数控制采样随机性，温度趋近0时输出最高概率token，温度升高时引入更多随机性64% 相似待验证置信度门控蒸馏只有当教师模型对样本的预测置信度超过阈值时，该样本的蒸馏信号才被纳入训练64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1013963API
curl https://kongchang.com/api/v1/knowledge/claims/1013963MCP
get_claim(id=1013963)