待验证50% 置信事实精确时间
蒸馏通常引入温度参数T对教师输出进行平滑处理,T越大分布越平缓、暗知识越丰富。
1
来源数
50%
置信度
长期有效
时效性
2026/10/21
首次发现
来源
涉及实体
相关事实
待验证温度缩放通过在softmax之前将logit值除以可学习的标量参数T来校准模型,T大于1软化概率分布,T小于1使分布更尖锐,无需重新训练主模型72% 相似待验证Hinton在原始论文中引入温度参数T来控制概率分布的柔软程度,T越高分布越平滑,类间相似关系暴露越充分,这些类间关系被称为暗知识(Dark Knowledge)71% 相似已验证温度参数越高,Softmax输出的概率分布越平坦,输出越富有创意和多样性;温度越低分布越尖锐,输出越确定保守68% 相似待验证temperature改变采样时token概率分布的集中或分散程度,较低温度使选择更可预测,较高温度允许更多变化,但它不改变模型所学的知识。62% 相似待验证LLM生成每个词时输出概率分布,温度越高采样越随机;即使两个助手召回相同信息源,温度设置不同也会导致措辞甚至提到的公司顺序不一样。61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1083202API
curl https://kongchang.com/api/v1/knowledge/claims/1083202MCP
get_claim(id=1083202)