待验证100% 置信事实精确时间

分布越确定其熵越低所需编码越短，分布越随机（如均匀分布）其熵越高

2

来源数

100%

置信度

长期有效

时效性

2026/8/2

首次发现

来源

From Entropy to Cross-Entropy: An Information-Theoretic Derivation of the Logistic Regression Loss Function

涉及实体

相关事实

待验证最小化交叉熵等价于最小化真实分布与预测分布之间的 KL 散度81% 相似待验证假设数据服从伯努利或多项分布，最大化似然等价于最小化交叉熵损失函数80% 相似待验证有限样本估计熵率面临系统性负偏差问题，插件估计量倾向于低估真实熵，可用Miller-Madow校正通过添加(k-1)/(2N)项补偿76% 相似已验证分类任务中的交叉熵损失本质上是对数似然函数的负值，最小化交叉熵等价于最大化模型对训练数据的对数似然69% 相似待验证均匀转移情形下马尔可夫链熵率达到最大值 log N，确定性转移情形下熵率为066% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/679893

API

curl https://kongchang.com/api/v1/knowledge/claims/679893

MCP

get_claim(id=679893)