待验证60% 置信事实精确时间
困惑度定义为 PPL = 2^{H(p,q)}，其中H(p,q)是模型分布相对真实分布的交叉熵，任何模型的困惑度都无法低于语言真实熵率对应的值
2
来源数
60%
置信度
长期有效
时效性
2026/8/6
首次发现
来源
相关事实
待验证困惑度概念源自信息论中的熵（Shannon Entropy），本质上是语言模型每步预测的平均分支因子69% 相似部分验证信息论中熵H(p)衡量概率分布p的不确定性，等价于对来自该分布的信息进行最优编码所需的平均比特数67% 相似待验证二分类交叉熵损失公式为 -[y·log(p) + (1-y)·log(1-p)]，其中y是真实标签，p是模型预测的正类概率66% 相似待验证随机变量的香农熵定义为 H(X) = -∑ p(x) log p(x)，衡量随机变量的平均不确定性65% 相似待验证论文证明约束优化问题存在闭式解：q* ∝ (p · e^(ηV))^(1/T)，其中p是模型原始概率分布，V是验证器势能，η是约束乘子，T是温度。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/697620API
curl https://kongchang.com/api/v1/knowledge/claims/697620MCP
get_claim(id=697620)