概念observed richness / 词汇类型比 / type-token ratio
词汇丰富度
文本中不同词汇类型数与总词数之比,直观反映词汇多样性,是评估语言模型输出退化的常用指标。
时间轴 (近 90 天)
11月9日
Renyi熵在 α→0 时趋近于观测到的词汇丰富度(出现过的词类型数的对数),在 α=1 时等于香农熵,在 α=2 时称为碰撞熵,在 α→∞ 时得到最小熵。
待验证50%
11月9日
转折顺序的稳健性在多个设定下得到验证:在另外四个设置中,最小熵仍然先于丰富度转折(印地语中仅在插值根处成立);在八种文本表示下的13种不同测量中,有12种支持该顺序。
待验证50%
10月12日
计算语言学中,文本可拆解为词汇层、句法层、篇章层和语用层,并有成熟量化指标如弗莱施-金凯德可读性公式、词汇丰富度。
待验证50%