待验证50% 置信事实精确时间

超额熵定义为过去与未来之间的互信息，以比特为单位衡量过去中对预测未来有用的信息量

1

来源数

50%

置信度

长期有效

时效性

2026/10/7

首次发现

来源

记忆预测增益MPE：量化历史信息对随机过程预测的价值

涉及实体

超额熵concept 互信息concept

相关事实

待验证交叉熵损失是分类任务中最常用的损失函数，其根源在信息论，衡量模型预测概率分布与真实分布之间的距离70% 相似待验证困惑度概念源自信息论中的熵（Shannon Entropy），本质上是语言模型每步预测的平均分支因子69% 相似待验证信息论中的熵与KL散度是理解损失函数设计和生成模型（如VAE、扩散模型）的重要基础68% 相似待验证递归熵风险度量在每个时间步嵌套应用风险算子，满足时间一致性，因此可以直接与贝尔曼方程结合67% 相似待验证交叉熵恢复率通过将SAE重建激活替代原始激活输入到模型后续层比较交叉熵损失变化来计算，衡量SAE是否保留对下游计算重要的信息65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/983443

API

curl https://kongchang.com/api/v1/knowledge/claims/983443

MCP

get_claim(id=983443)