Latent Core Tokenizer
一种新型多语言分词器构建方法，通过将分词器构建拆分为结构发现与词表构建两个独立阶段，结合MDL、熵边界信号和形态句法约束，在不牺牲语言公平性的前提下改善形态对齐与下游任务表现。
时间轴 (近 90 天)
Latent Core Tokenizer（LCT）将分词器构建拆分为结构发现与词表构建两个独立阶段。
LCT在结构发现阶段引入三种信号：最小描述长度（MDL）、基于熵的边界信号、形态句法约束。
论文在104种语言、200K词表设定下，将LCT与BPE、Unigram、parity-aware BPE进行了对比。
LCT相比BPE、Unigram、parity-aware BPE，在四个多语言下游基准上的聚合得分分别提升1.48、1.83和2.00分。
LCT在104种语言上实现了更低的fertility和更高的MorphScore，同时跨语言tokenization成本差异保持相近。
论文的核心结论是：compression alone does not predict representation quality（压缩率本身无法预测表征质量）。
LCT将频率的作用延后：结构发现阶段不依赖频率，仅依赖MDL、熵和形态约束；频率只在最终词表分配阶段起作用。
在LCT的最终词表分配阶段，频率仍决定有限词表槽位如何在各语言、各单元间取舍。
LCT目前仍是研究阶段的方法，论文未提及推理开销与训练成本的细节。
如果多语言模型的词表在低资源语言上fertility异常高，问题可能不在词表大小，而在构建目标。
全部知识事实 (10)
Latent Core Tokenizer（LCT）将分词器构建拆分为结构发现与词表构建两个独立阶段。
50%待验证LCT在结构发现阶段引入三种信号：最小描述长度（MDL）、基于熵的边界信号、形态句法约束。
50%待验证论文在104种语言、200K词表设定下，将LCT与BPE、Unigram、parity-aware BPE进行了对比。
50%待验证LCT相比BPE、Unigram、parity-aware BPE，在四个多语言下游基准上的聚合得分分别提升1.48、1.83和2.00分。
50%待验证LCT在104种语言上实现了更低的fertility和更高的MorphScore，同时跨语言tokenization成本差异保持相近。
50%待验证论文的核心结论是：compression alone does not predict representation quality（压缩率本身无法预测表征质量）。
50%待验证LCT将频率的作用延后：结构发现阶段不依赖频率，仅依赖MDL、熵和形态约束；频率只在最终词表分配阶段起作用。
50%待验证在LCT的最终词表分配阶段，频率仍决定有限词表槽位如何在各语言、各单元间取舍。
50%待验证LCT目前仍是研究阶段的方法，论文未提及推理开销与训练成本的细节。
50%待验证如果多语言模型的词表在低资源语言上fertility异常高，问题可能不在词表大小，而在构建目标。
50%