待验证85% 置信事实精确时间

前向KL散度D(p||q)倾向于让q覆盖p的所有可能性（mode-covering），是变分推断和监督学习中最常用的形式

1

来源数

85%

置信度

长期有效

时效性

2026/8/2

首次发现

来源

From Entropy to Cross-Entropy: An Information-Theoretic Derivation of the Logistic Regression Loss Function

涉及实体

KL Divergenceconcept Variational Inferenceconcept

相关事实

待验证反向KL散度D(q||p)倾向于让q集中在p的单个峰值上（mode-seeking），常用于生成模型训练86% 相似待验证Q-learning、DQN 等算法本质上都是在近似求解贝尔曼最优方程74% 相似待验证DQN的理论基础是Q-learning，一种无模型强化学习算法，核心是学习Q函数Q(s,a)表示状态s下执行动作a的期望累积折扣奖励70% 相似待验证量化感知训练(QAT)让模型保留全精度权重副本，每次前向传播练习舍入操作，学会在极端压缩下的权重分布67% 相似待验证K-means对初始簇中心敏感，K-means++通过概率化初始化缓解这一问题65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/679897

API

curl https://kongchang.com/api/v1/knowledge/claims/679897

MCP

get_claim(id=679897)