待验证50% 置信事实精确时间

最小化交叉熵等价于最小化真实分布与预测分布之间的 KL 散度

1

来源数

50%

置信度

长期有效

时效性

2026/7/19

首次发现

来源

机器学习数学学习路径：如何从资源过载到系统掌握

相关事实

待验证假设数据服从伯努利或多项分布，最大化似然等价于最小化交叉熵损失函数82% 相似部分验证分布越确定其熵越低所需编码越短，分布越随机（如均匀分布）其熵越高81% 相似待验证由于 H(p) 是与模型无关的常数，最小化交叉熵等价于最小化KL散度，此等价关系在数学上精确77% 相似待验证有限样本估计熵率面临系统性负偏差问题，插件估计量倾向于低估真实熵，可用Miller-Madow校正通过添加(k-1)/(2N)项补偿75% 相似待验证线性回归的最小二乘损失与逻辑回归的交叉熵损失分别对应高斯噪声假设与伯努利分布假设下的最大似然估计71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/563758

API

curl https://kongchang.com/api/v1/knowledge/claims/563758

MCP

get_claim(id=563758)