Unverified50% confidenceFactExact time
CWD 通过 Softmax 对每个通道的空间激活值归一化转化为概率分布，再用 KL 散度计算师生模型通道分布差异作为蒸馏损失
1
Sources
50%
Confidence
Long-term
Relevance
7/17/2026
First Seen
Sources
Related Claims
UnverifiedSoftmax函数将神经网络logits压缩为概率分布，但其输出值在大规模模型中系统性偏离真实贝叶斯后验概率68% similarUnverified逐通道量化为每个输出通道独立计算缩放因子，相比逐张量量化能更精确捕捉数值分布，降低量化误差67% similarUnverifiedMMD（Maximum Mean Discrepancy）是基于再生核希尔伯特空间的非参数分布距离度量，相比FID对小样本场景更友好、计算开销更低67% similarUnverified每增加一条有效约束等价于在模型的输出概率分布上施加一个条件概率过滤器，将生成空间收窄为符合约束的子集65% similarUnverified该测试采用KL散度（KLD）作为客观量化指标，衡量量化后输出分布与BF16参考分布的偏离程度，KLD越低说明量化造成的信息损失越小65% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/541880API
curl https://kongchang.com/api/v1/knowledge/claims/541880MCP
get_claim(id=541880)