AdaBPE
一种改进的BPE分词方法，通过动态频率阈值（长度自适应和类型自适应）优化混合语料分词，允许跨越空格合并多词表达并提升形式语言编码效率。
时间轴 (近 90 天)
论文指出，现有的superword tokenization方法仍依赖贪心频率合并，既不考虑token长度，也忽视低频但关键的领域特定语言（DSL）符号。
AdaBPE引入第一重自适应机制：候选token越长，其频率阈值越低，以抵消BPE对短模式的偏好。
AdaBPE引入第二重自适应机制：区分一般自然语言模式与形式语言模式（以LaTeX为例），对后者采用更宽松的频率阈值。
AdaBPE将自身思路描述为“自适应频繁模式挖掘”，本质上是在BPE的合并循环前加一层动态过滤器：先根据候选模式的长短和类别调整准入门槛，再执行合并。
AdaBPE在五个数据集上评估，覆盖纯LaTeX、纯自然语言以及两者混合的场景。
实验结果显示，AdaBPE在领域特定内容上编码效率有稳定提升，相同文本被压缩成更少的token。
实验结果显示，使用AdaBPE分词的下游语言模型在LaTeX相关任务上的表现优于基线，同时通用自然语言性能没有出现退化。
AdaBPE目前仅以LaTeX作为形式语言的案例，类型划分的自动化程度和阈值函数的具体形式对其它DSL的迁移效果仍有待进一步验证。
全部知识事实 (8)
论文指出，现有的superword tokenization方法仍依赖贪心频率合并，既不考虑token长度，也忽视低频但关键的领域特定语言（DSL）符号。
50%待验证AdaBPE引入第一重自适应机制：候选token越长，其频率阈值越低，以抵消BPE对短模式的偏好。
50%待验证AdaBPE引入第二重自适应机制：区分一般自然语言模式与形式语言模式（以LaTeX为例），对后者采用更宽松的频率阈值。
50%待验证AdaBPE将自身思路描述为“自适应频繁模式挖掘”，本质上是在BPE的合并循环前加一层动态过滤器：先根据候选模式的长短和类别调整准入门槛，再执行合并。
50%待验证AdaBPE在五个数据集上评估，覆盖纯LaTeX、纯自然语言以及两者混合的场景。
50%待验证实验结果显示，AdaBPE在领域特定内容上编码效率有稳定提升，相同文本被压缩成更少的token。
50%待验证实验结果显示，使用AdaBPE分词的下游语言模型在LaTeX相关任务上的表现优于基线，同时通用自然语言性能没有出现退化。
50%待验证AdaBPE目前仅以LaTeX作为形式语言的案例，类型划分的自动化程度和阈值函数的具体形式对其它DSL的迁移效果仍有待进一步验证。
50%