待验证50% 置信基准精确时间

在91%的数据集-模型组合中，无论答案正确与否，平均token熵都接近于零

1

来源数

50%

置信度

长期有效

时效性

2026/9/21

首次发现

来源

小语言模型知道自己不知道什么吗？语义熵是关键

涉及实体

token级熵concept 小语言模型concept

相关事实

待验证均匀转移情形下马尔可夫链熵率达到最大值 log N，确定性转移情形下熵率为075% 相似待验证有限样本估计熵率面临系统性负偏差问题，插件估计量倾向于低估真实熵，可用Miller-Madow校正通过添加(k-1)/(2N)项补偿72% 相似待验证信息熵（Shannon Entropy）按字节计算时取值范围为0到8，熵值接近8表示数据接近完全随机71% 相似待验证对于0值占主导的三元权重矩阵，其经验熵完全可能落在 1.0～1.3 比特区间71% 相似待验证一个token在水印系统中贡献的有效信息量通常在0.01到0.1比特之间，取决于原始概率分布的熵值70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/938051

API

curl https://kongchang.com/api/v1/knowledge/claims/938051

MCP

get_claim(id=938051)