概念
parity-aware BPE
一种改进的BPE分词方法，通过在词表分配时引入公平性补偿机制来缓解多语言场景下高资源与低资源语言之间的容量分配不平等问题，但压缩目标本身未变。
时间轴 (近 90 天)
10月13日
论文在104种语言、200K词表设定下，将LCT与BPE、Unigram、parity-aware BPE进行了对比。
待验证50%
10月13日
LCT相比BPE、Unigram、parity-aware BPE，在四个多语言下游基准上的聚合得分分别提升1.48、1.83和2.00分。
待验证50%