待验证50% 置信事实精确时间
传统软标签蒸馏要求草稿模型在每一个位置上都逼近目标模型的完整概率分布，包括高熵区域，这与推理时最大化接受长度的目标不一致。
1
来源数
50%
置信度
长期有效
时效性
2026/10/22
首次发现
来源
涉及实体
相关事实
待验证跨分词器蒸馏前应先测量熵保留率或概率质量对齐度以避免在错误目标上浪费算力73% 相似待验证标准交叉熵损失在目标占图像面积较小时会导致严重的类别不平衡问题，模型倾向于全部预测为背景73% 相似待验证论文设计了一个显式的目标密度，在不希望的条件附近压低概率质量，压低强度由一个参数控制。72% 相似待验证当模型遇到分布外输入时预测熵升高，softmax输出趋于均匀分布，nucleus sampling允许的候选token范围扩大，使长尾异常token获得被采样的机会72% 相似待验证AdaptiveSpec的逐步边际规则：当目标模型在草稿token上的概率与其top-1 token概率之比超过某阈值时，即便二者不完全匹配也接受该草稿token72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1084552API
curl https://kongchang.com/api/v1/knowledge/claims/1084552MCP
get_claim(id=1084552)