[控场AI]
概念collision entropy / 碰撞熵

碰撞熵

Renyi 熵在 α=2 时的特例,与碰撞概率(两个独立采样结果相同的概率)密切相关,对高频词更敏感。

时间轴 (近 90 天)

11月9日

在未截断训练(T=1)下,第9代GPT-2模型在13000词预算时,词汇类型比第0代少24%,但碰撞熵高出0.91比特。

待验证50%
11月9日

Renyi熵在 α→0 时趋近于观测到的词汇丰富度(出现过的词类型数的对数),在 α=1 时等于香农熵,在 α=2 时称为碰撞熵,在 α→∞ 时得到最小熵。

待验证50%

全部知识事实 (2)

来源文章