Latent Core Tokenizer：压缩率不等于表征质量，多语言分词的新思路

分词器（Tokenizer）是几乎所有语言模型的第一道工序，但它的设计长期被一个指标主导：压缩率。词汇表越小、序列越短，看起来就越"高效"。然而，一篇关于 Latent Core Tokenizer（LCT） 的研究提出了一个反直觉的结论——压缩得更好，并不代表学得更好。

分词器的隐藏偏见：容量分配不均

主流分词算法（BPE、Unigram）的优化目标本质上都是压缩：在有限词表下最小化语料编码长度。问题在于，紧凑的词表并不等于语言间容量的均衡分配。

一种语言如果在训练语料中占比高，它的高频片段会优先进入词表；低资源语言的形态结构则可能被切碎成大量短token。结果是：英语一句话可能只占十几个token，而形态复杂的语言（如土耳其语、芬兰语）同样语义需要两三倍的token数。这不仅拖慢推理，也影响模型对低资源语言的理解深度。

已有工作尝试用"parity-aware BPE"等方法缓解这种不平等，但压缩目标本身没有变，只是在分配时做了补偿。LCT 的出发点是：换一个目标函数。

BPE（Byte Pair Encoding，字节对编码） 是最主流的分词算法之一：它从字符（或字节）出发，反复统计语料中最高频的相邻符号对并将其合并为新符号，直到词表达到预设大小。Unigram 则相反，它先构建一个巨大的候选子词集合，再通过语言模型似然逐步裁剪，保留使语料概率最大的一批子词。两者虽路径不同，但目标函数都指向同一件事——在给定词表规模下最小化语料的编码长度，也就是最大化压缩率。正因如此，它们对训练语料的分布高度敏感：谁在语料里出现得多，谁的子词就更可能被并入词表，这也正是多语言场景下容量分配失衡的算法根源。

核心方法：先发现结构，再构建词表

LCT 的设计思路是把分词器的构建拆成两个独立阶段：结构发现与词表构建。这与 BPE 边压缩边合并的贪心策略完全不同。

结构发现阶段引入了三种信号：

• 最小描述长度（Minimum Description Length, MDL）：衡量一个候选语言单元是否值得被保留，权衡"复用带来的收益"与"存储该单元的成本"。
• 基于熵的边界信号：用信息论方法识别语素边界，边界处的字符组合不确定性更高，熵值可作为切分依据。
• 形态句法约束（morphotactic constraints）：限制哪些语素序列是合法的，避免产生语言学上不合理的切分。

这套流程先识别出可复用的语言单元（如词根、词缀），再在此基础上构建共享词表，而不是直接对字符序列做统计合并。换句话说，LCT 试图让分词器"理解一点形态学"，而不是纯粹做字节级压缩。

实验结果：104种语言上的全面对比

论文在 104 种语言、200K 词表的设定下，将 LCT 与 BPE、Unigram、parity-aware BPE 进行了对比，主要结论有几点：

• 更低的 fertility（生育率）：即平均每个词被切分成更少的token，说明切分更贴近语言的自然单位；
• 更高的 MorphScore：这是一个衡量分词结果与真实形态结构一致性的指标，LCT 明显领先；
• 跨语言tokenization成本差异（cross-lingual disparity）保持相近：即在改善形态对齐的同时，没有牺牲语言间的公平性。

在四个多语言下游基准上，LCT 相比 BPE、Unigram、parity-aware BPE 的聚合得分分别提升 1.48、1.83 和 2.00 分。

这个提升幅度在分词器研究中并不算小——分词器通常是模型训练中最"静态"的一环，改动带来的收益往往有限。

Fertility（生育率） 是衡量分词器效率的常用指标，指平均每个单词被切分成多少个 token。fertility 越低，意味着一个词越可能被整体或少数几个 token 表示；若某个语言的 fertility 明显偏高（如形态复杂的黏着语），说明它的词被切得很碎，模型需要更长的序列才能表达同样的语义，既增加推理成本，也会稀释长距离依赖的建模效果。MorphScore 则从另一个维度评估分词质量：它把分词边界与人工标注的真实语素边界进行比对，衡量切分结果与语言学形态结构的一致程度。一个分词器完全可能 fertility 很低（序列短），但 MorphScore 很差（切分点与语素边界错位），LCT 的价值正在于同时改善这两个指标。

关键洞察：频率应该怎么用

这项研究最有价值的观点，可能不是具体算法，而是对"频率"角色的重新定位。

BPE 类方法隐含的假设是：高频片段更值得进入词表。这在单语言场景下大体成立，但在多语言场景下，高频往往等同于"语料占比高"，于是词表容量天然向高资源语言倾斜。

LCT 的做法是把频率的作用延后：结构发现阶段不依赖频率，只依赖MDL、熵和形态约束；频率只在最终的词表分配阶段起作用。这样，一种语言的形态单元能否被识别，取决于它是否"结构上可复用"，而不是它出现得多不多。

论文的总结很直接：compression alone does not predict representation quality——压缩率本身无法预测表征质量。这对当前大量以"压缩率更低"为卖点的分词器工作，构成了一次方法论层面的质疑。

最小描述长度（MDL） 源于信息论与奥卡姆剃刀思想，核心是在"模型复杂度"与"数据拟合度"之间取平衡。用于分词时，它的直觉是：一个候选语言单元（如某个词根或词缀）若被复用得越多、节省的编码长度越大，就越值得保留；但存储这个单元本身、以及它带来的切分歧义，也构成成本。MDL 要求总描述长度（存储成本加编码成本）最小，因此它评估的是单元"结构上的可复用性"，而非单纯的频次高低。这与 BPE 只按频率合并形成鲜明对比——MDL 更青睐那些虽然不总高频、但结构上确实承载语义的单元，这恰好能为低资源语言的形态结构保留空间。

对工程实践的意味

对做多语言模型的团队来说，LCT 提示了一个可操作的方向：如果你的词表在低资源语言上fertility异常高，问题可能不在词表大小，而在构建目标。单纯扩大词表或补充语料，未必能解决形态切分错误。

当然，LCT 目前仍是研究阶段的方法，论文未提及推理开销与训练成本的细节，形态约束的构建也需要语言知识或标注资源，这在真正的低资源语言上是否可扩展，仍需验证。但至少它把一个长期被压缩率掩盖的问题摆上了台面：分词器的目标，应该是让每种语言都被"有意义地"表示，而不只是让整体序列更短。

背景补充

值得区分的是，LCT 所说的"频率延后"并不等于"频率无用"。在最终的词表分配阶段，频率仍然决定有限词表槽位如何在各语言、各单元间取舍，否则词表会被大量极低频的形态单元占满，反而损害高资源语言的表现。LCT 的关键在于把频率从"发现哪些结构存在"的前置判断中剥离，只保留其在"结构已确定后如何分配资源"中的权重。这种两阶段解耦，使结构识别与资源分配各自使用最合适的信号，避免了 BPE 中"高频即重要"这一隐含假设对多语言公平性的系统性侵蚀，也为后续在词表分配策略上做进一步调优留出了空间。