概念pre-tokenisation / 预分词规则
预分词
大语言模型分词流水线的第一步，使用确定性正则表达式规则将原始文本切割为不可跨越的片段，为后续BPE或Unigram等分词算法设定约束边界
时间轴 (近 90 天)
9月30日
预分词（pre-tokenisation）规则会限制哪些文本片段可以成为预测单元，其带来的压缩成本在同一边界规则下比较分词器时被掩盖
待验证50%
9月30日
追求极致压缩的词典未必是预测建模的最优选择，压缩效率与预测质量之间存在张力
待验证50%
大语言模型分词流水线的第一步，使用确定性正则表达式规则将原始文本切割为不可跨越的片段，为后续BPE或Unigram等分词算法设定约束边界
预分词（pre-tokenisation）规则会限制哪些文本片段可以成为预测单元，其带来的压缩成本在同一边界规则下比较分词器时被掩盖
追求极致压缩的词典未必是预测建模的最优选择，压缩效率与预测质量之间存在张力