[控场AI]
概念Shannon entropy / 香农熵

香农熵

由克劳德·香农提出的信息熵度量,用于量化随机变量的平均不确定性,是信息论的基础概念。

时间轴 (近 90 天)

11月11日

物理学的热力学熵与信息论的香农熵在数学形式上有深刻联系,但并非同一个东西。

待验证50%
11月9日

Renyi熵在 α→0 时趋近于观测到的词汇丰富度(出现过的词类型数的对数),在 α=1 时等于香农熵,在 α=2 时称为碰撞熵,在 α→∞ 时得到最小熵。

待验证50%
10月19日

MaskFlow v2.0 使用香农熵阈值 H(X) ≥ 3.85 bits/char 结合字符类别转换来自动识别并掩码高熵的未知 token。

待验证50%
10月19日

高熵检测方法不依赖前缀或固定长度,能覆盖内部系统生成的随机 token,但可能把长哈希、压缩数据块或高熵测试夹具误判为密钥。

待验证50%
9月22日

香农熵 H(X) 定义了无损压缩所能达到的极限,即信息量的下界

待验证50%

全部知识事实 (5)

来源文章