ConceptKL Divergence / Kullback-Leibler Divergence / KL散度
KL散度
信息论中衡量两个概率分布差异的非对称度量，在VAE损失函数中作为正则化项，约束编码器输出分布接近标准正态先验，防止潜在空间碎片化
Timeline (last 90 days)
Aug 27
KL散度在变分推断（VAE的ELBO目标）、知识蒸馏和模型压缩中扮演核心角色
Unverified50%
Aug 23
Wasserstein距离是一个真正的度量，满足对称性和三角不等式，而KL散度不对称且在分布支撑不重叠时为无穷大
Unverified50%
Aug 21
检测数据漂移的常用方法包括KS检验、PSI（Population Stability Index）和基于滑动窗口的统计监控
Unverified50%