Unverified100% confidenceFactExact time
信息论中熵H(p)衡量概率分布p的不确定性，等价于对来自该分布的信息进行最优编码所需的平均比特数
2
Sources
100%
Confidence
Long-term
Relevance
8/2/2026
First Seen
Sources
Related Entities
Related Claims
Unverified随机变量的香农熵定义为 H(X) = -∑ p(x) log p(x)，衡量随机变量的平均不确定性78% similarUnverified熵能够完整捕捉概率分布的所有阶矩信息，而方差只能捕捉线性、二阶的统计关系；互信息能度量包括非线性在内的总依赖关系，比Pearson相关系数更通用74% similarUnverified困惑度概念源自信息论中的熵（Shannon Entropy），本质上是语言模型每步预测的平均分支因子74% similarUnverifiedLLM可通过分析输出token的对数概率分布、思维链末尾自我评估、温度采样统计答案分布熵值等手段近似估计决策置信度72% similarUnverified后验分布通过贝叶斯定理获得：p(θ|x)∝p(x|θ)·p(θ)，将先验知识与数据似然结合67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/679889API
curl https://kongchang.com/api/v1/knowledge/claims/679889MCP
get_claim(id=679889)