Unverified100% confidenceFactExact time
KL散度D(p,q)描述当使用错误的分布q来编码实际服从分布p的数据时，相比使用正确分布p会浪费多少额外比特
2
Sources
100%
Confidence
Long-term
Relevance
8/2/2026
First Seen
Sources
Related Entities
Related Claims
Unverified从KL散度角度看，每一代合成数据与真实分布之间的散度都在单调递增，且误差会在迭代中累积74% similarUnverifiedVAE的损失函数由重建损失（常用MSE或BCE）和KL散度两部分构成，KL散度约束潜在分布接近标准正态分布起正则化作用66% similarUnverified分布偏移意味着训练集与测试集之间的KL散度不为零，即两个分布之间存在可度量的信息差距65% similarUnverified该测试采用KL散度（KLD）作为客观量化指标，衡量量化后输出分布与BF16参考分布的偏离程度，KLD越低说明量化造成的信息损失越小64% similarUnverifiedCWD 通过 Softmax 对每个通道的空间激活值归一化转化为概率分布，再用 KL 散度计算师生模型通道分布差异作为蒸馏损失62% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/679894API
curl https://kongchang.com/api/v1/knowledge/claims/679894MCP
get_claim(id=679894)