待验证50% 置信事实精确时间
熵能够完整捕捉概率分布的所有阶矩信息，而方差只能捕捉线性、二阶的统计关系；互信息能度量包括非线性在内的总依赖关系，比Pearson相关系数更通用
1
来源数
50%
置信度
长期有效
时效性
2026/8/22
首次发现
来源
涉及实体
相关事实
部分验证信息论中熵H(p)衡量概率分布p的不确定性，等价于对来自该分布的信息进行最优编码所需的平均比特数74% 相似待验证困惑度概念源自信息论中的熵（Shannon Entropy），本质上是语言模型每步预测的平均分支因子67% 相似待验证随机变量的香农熵定义为 H(X) = -∑ p(x) log p(x)，衡量随机变量的平均不确定性67% 相似待验证MemGAS使用熵路由器（Entropy Router）根据查询在不同粒度上相似度分布的熵值来自适应选择最优记忆粒度66% 相似待验证二分类交叉熵损失公式为 -[y·log(p) + (1-y)·log(1-p)]，其中y是真实标签，p是模型预测的正类概率64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/788593API
curl https://kongchang.com/api/v1/knowledge/claims/788593MCP
get_claim(id=788593)