待验证50% 置信基准精确时间
在有缺陷的蒸馏目标下，KD loss为2.729，普通交叉熵基线仅为2.081，即KD表现不如CE基线
1
来源数
50%
置信度
长期有效
时效性
2026/7/14
首次发现
来源
相关事实
已验证交叉熵损失起源于信息论中的KL散度，衡量真实概率分布与预测概率分布之间的差异程度61% 相似待验证Top-K路由中K值的选择影响计算效率与表现能力之间的权衡，K越小推理越快但可能损失表达能力，实践中K通常取1或260% 相似待验证该测试采用KL散度（KLD）作为客观量化指标，衡量量化后输出分布与BF16参考分布的偏离程度，KLD越低说明量化造成的信息损失越小60% 相似待验证VAE的损失函数由重建损失（常用MSE或BCE）和KL散度两部分构成，KL散度约束潜在分布接近标准正态分布起正则化作用60% 相似待验证如果交叉熵稳步下降而Dice波动剧烈，问题几乎可以确定出在Dice损失的配置上58% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/508982API
curl https://kongchang.com/api/v1/knowledge/claims/508982MCP
get_claim(id=508982)