[控场AI]
概念超词分词

superword tokenization

一类放宽传统词边界约束的分词方法,允许合并跨越空格的多词表达,使分词器能直接产出包含空格的token。多数实现仍沿用贪心频率合并。

来源文章