待验证50% 置信事实精确时间
CWD 通过 Softmax 对每个通道的空间激活值归一化转化为概率分布，再用 KL 散度计算师生模型通道分布差异作为蒸馏损失
1
来源数
50%
置信度
长期有效
时效性
2026/7/17
首次发现
来源
相关事实
待验证Softmax函数将神经网络logits压缩为概率分布，但其输出值在大规模模型中系统性偏离真实贝叶斯后验概率68% 相似待验证逐通道量化为每个输出通道独立计算缩放因子，相比逐张量量化能更精确捕捉数值分布，降低量化误差67% 相似待验证MMD（Maximum Mean Discrepancy）是基于再生核希尔伯特空间的非参数分布距离度量，相比FID对小样本场景更友好、计算开销更低67% 相似待验证每增加一条有效约束等价于在模型的输出概率分布上施加一个条件概率过滤器，将生成空间收窄为符合约束的子集65% 相似待验证该测试采用KL散度（KLD）作为客观量化指标，衡量量化后输出分布与BF16参考分布的偏离程度，KLD越低说明量化造成的信息损失越小65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/541880API
curl https://kongchang.com/api/v1/knowledge/claims/541880MCP
get_claim(id=541880)