KL 散度
衡量两个概率分布差异的非对称性度量,在信息论、变分推断等领域广泛应用。
时间轴 (近 90 天)
Hellinger 模对分布密度的平方根之差进行积分,相较于 KL 散度,它是有界的且在非参数估计的极小极大下界推导中往往能给出更紧的常数界。
KL 散度衡量两个概率分布之间的差异,是检测模型崩溃的核心数学工具;将拟用训练批次与认证人类黄金基线做 KL 散度对比,散度超过阈值应自动终止管线。
SIRS 给出了误差界:数据分布与 SIRS 输出分布之间的 KL 散度被一个裁剪项加上模型的训练误差所界定。
KL 散度和 PSI(群体稳定性指标)等统计量常用于度量批量数据的分布偏移,但难以直接套用于 Agent 序列化、带上下文的行为。
PSI 数学上类似于对称化的 KL 散度,对分布的相对变化较为敏感。
互信息 I(X;Y) 定义为联合分布与边缘分布乘积之间的 KL 散度,等价于知道 X 后 Y 的不确定性减少量。
Renyi 散度是 KL 散度的推广,可通过调节阶数参数控制对分布尾部或峰值的敏感程度
Voodoo Quant 的训练目标由 KL 散度和文件大小目标两部分构成,用户可直接指定目标文件体积
全部知识事实 (8)
Hellinger 模对分布密度的平方根之差进行积分,相较于 KL 散度,它是有界的且在非参数估计的极小极大下界推导中往往能给出更紧的常数界。
50%待验证KL 散度衡量两个概率分布之间的差异,是检测模型崩溃的核心数学工具;将拟用训练批次与认证人类黄金基线做 KL 散度对比,散度超过阈值应自动终止管线。
50%待验证SIRS 给出了误差界:数据分布与 SIRS 输出分布之间的 KL 散度被一个裁剪项加上模型的训练误差所界定。
50%待验证KL 散度和 PSI(群体稳定性指标)等统计量常用于度量批量数据的分布偏移,但难以直接套用于 Agent 序列化、带上下文的行为。
50%待验证PSI 数学上类似于对称化的 KL 散度,对分布的相对变化较为敏感。
50%待验证互信息 I(X;Y) 定义为联合分布与边缘分布乘积之间的 KL 散度,等价于知道 X 后 Y 的不确定性减少量。
50%待验证Renyi 散度是 KL 散度的推广,可通过调节阶数参数控制对分布尾部或峰值的敏感程度
50%待验证Voodoo Quant 的训练目标由 KL 散度和文件大小目标两部分构成,用户可直接指定目标文件体积
50%