[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
超词分词
superword tokenization
一类放宽传统词边界约束的分词方法,允许合并跨越空格的多词表达,使分词器能直接产出包含空格的token。多数实现仍沿用贪心频率合并。
来源文章
AdaBPE:动态频率阈值如何优化混合语料分词
10月26日