概念collision entropy / 碰撞熵
碰撞熵
Renyi 熵在 α=2 时的特例,与碰撞概率(两个独立采样结果相同的概率)密切相关,对高频词更敏感。
时间轴 (近 90 天)
11月9日
在未截断训练(T=1)下,第9代GPT-2模型在13000词预算时,词汇类型比第0代少24%,但碰撞熵高出0.91比特。
待验证50%
11月9日
Renyi熵在 α→0 时趋近于观测到的词汇丰富度(出现过的词类型数的对数),在 α=1 时等于香农熵,在 α=2 时称为碰撞熵,在 α→∞ 时得到最小熵。
待验证50%