Rico Sennrich

Rico Sennrich 等人在 2016 年的论文《Neural Machine Translation of Rare Words with Subword Units》中量化：在一亿词的德语语料上，保留完整单词需要 175 万条词表，测试集仍留下 1,079 个未知词；拆成字符需要约 3,000 个符号，但语料膨胀到 5.5 亿个位置；子词方法 BPE 约 63,000 个符号、1.12 亿个位置、零个未知词。