Unverified50% confidenceFactExact time

交叉熵损失函数 H(p,q) = -Σp(x)log q(x) 的最小值在q=p时取到，等于真实分布的熵

1

Sources

50%

Confidence

Long-term

Relevance

8/27/2026

First Seen

Sources

机器学习工程师还需要懂数学吗？AI时代数学价值深度解析

Related Entities

交叉熵concept 信息论concept

Related Claims

Unverified由于 H(p) 是与模型无关的常数，最小化交叉熵等价于最小化KL散度，此等价关系在数学上精确79% similar Unverified假设数据服从伯努利或多项分布，最大化似然等价于最小化交叉熵损失函数79% similar Unverified均匀转移情形下马尔可夫链熵率达到最大值 log N，确定性转移情形下熵率为077% similar Verified分类任务中的交叉熵损失本质上是对数似然函数的负值，最小化交叉熵等价于最大化模型对训练数据的对数似然77% similar Unverified最小化交叉熵等价于最小化真实分布与预测分布之间的 KL 散度75% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/809953

API

curl https://kongchang.com/api/v1/knowledge/claims/809953

MCP

get_claim(id=809953)