信德语分词器新基准:SentencePiece Unigram如何超越14个现有方案

信德语分词器首次统一基准评测:64k新模型略优于现有基线,并揭示静默字符删除隐患。
针对信德语这一低资源印度-雅利安语言,论文作者基于约110万条多源句子训练了32k至150k四种词汇量的SentencePiece Unigram分词器,并与14个现有分词器在FLORES+、维基百科、情感语料和新闻语料四个评测集上系统比较。64k配置平均每词1.147个token,优于最佳基线的1.208和XLM-RoBERTa的1.512,88.6%的词保留为单token,并在fertility、单token保留率和UNK率上整体领先。往返检查还发现两个现有分词器存在最高0.85%的静默字符删除。但作者坦承与最佳基线差距微小、缺乏显著性检验,且未评估下游任务影响。
低资源语言的分词器长期处于“各自为政”的状态——模型发布了不少,却很少有研究在统一数据上做横向对比。最近一篇关于信德语(Sindhi)的论文填补了这一空白:作者训练了基于SentencePiece Unigram的分词器,并与14个现有分词器在四个评测集上进行了系统比较。

为什么信德语分词值得单独研究
信德语是一种低资源的印度-雅利安语言,主要使用扩展的波斯-阿拉伯字母书写。尽管公共模型库上已经发布了多个信德语分词器,但它们从未在共享数据上互相比较过。这种“无基准”状态导致研究者和开发者难以判断哪个分词器真正适合自己的任务。
论文作者从四个公开来源收集了约110万条信德语句子,并加入了一个较小的、重复出现的乌尔都语、波斯语和阿拉伯语切片,训练了四个词汇量规模(32k到150k)的SentencePiece Unigram分词器,全部启用byte fallback。
SentencePiece Unigram 是 Google 提出的分词算法,属于 SentencePiece 工具包支持的两种主要模型之一(另一种是 BPE)。与 BPE 自底向上合并高频字符对不同,Unigram 模型从一个大词表出发,通过期望最大化(EM)算法迭代地剪枝掉对语料似然贡献最小的子词,直到达到目标词汇量。这种“自顶向下”的方式使其天然支持概率化的分词,即对同一文本可以采样出多种切分方式(训练时用作正则化),推理时则选择概率最高的切分。Unigram 尤其适合形态丰富的黏着语和低资源语言,因为它能更灵活地平衡词表覆盖与压缩效率。论文选择 Unigram 而非 BPE,正是看中其在有限语料下对子词粒度的精细控制能力。
Byte fallback(字节回退) 是 SentencePiece 提供的一种安全机制:当输入文本中出现词汇表中未登录的字符时,分词器不会将其映射为 UNK(未知词),而是将该字符的 UTF-8 字节序列拆成若干字节级 token 输出。这样任何 Unicode 字符都能被无损表示,从根本上消除了字符级信息丢失。对于使用扩展波斯-阿拉伯字母的信德语而言,这一机制尤为重要,因为该文字包含大量变音符号和特殊字形,词表难以全部覆盖。启用 byte fallback 后,UNK 率可以降至零,但代价是罕见字符会被拆成多个字节 token,可能拉低压缩效率。论文中所有新分词器均启用此机制,这也是其往返字符损失为零的关键原因。
评测设计:四个数据集、五项指标
对比实验在四个评测集上进行:FLORES+、信德语维基百科、新闻衍生的情感语料库,以及一个当代新闻语料库。评测指标包括fertility(每词所需token数)、单token保留率、UNK率、byte-fallback率和往返字符损失。
这些指标覆盖了分词器的核心能力:压缩效率(fertility)、词汇覆盖(单token保留率)、未知词处理(UNK率)以及字符级安全性(往返损失)。
Fertility(每词 token 数) 是衡量分词器压缩效率的核心指标,计算方式为分词后得到的 token 总数除以原始文本的单词数(通常按空格切分)。fertility 越低,说明每个词平均被切成的子词越少,模型处理同样文本所需的序列长度越短,从而降低计算开销并缓解长距离依赖问题。对于低资源语言,fertility 过高会导致有效上下文窗口缩短、训练样本效率下降。论文中 64k 新分词器的 fertility 为 1.147,意味着平均每个信德语词仅需约 1.15 个 token,接近“一词一 token”的理想状态。需要注意的是,fertility 与词汇量大小存在权衡:词表越大 fertility 通常越低,但嵌入矩阵和输出层也随之增大,在低资源场景下容易过拟合。
64k词汇量下的性能表现
在64k词汇量设置下,新分词器平均每词1.147个token,优于最佳现有分词器的1.208和XLM-RoBERTa的1.512。同时,88.6%的词被保留为单个token。
在fertility、单token保留率和UNK率三项指标上,64k及以上的配置在全部四个评测集中均为最佳或并列最佳。不过在32k配置下,它在FLORES+上落后于一个基线模型。
论文作者也坦诚地指出,与最佳信德语适配基线之间的差距很小——64k在FLORES+上的fertility差距仅为0.002,且未报告显著性检验。这意味着优势存在,但并非压倒性。
字符安全:往返检查揭示的隐性问题
一个值得关注的发现来自往返字符损失检查。新分词器没有字符损失,但两个现有分词器存在静默字符删除问题,最多删除了0.85%的字符;另外七个分词器的字符损失低于0.1%。
静默字符删除对低资源语言尤其危险,因为字符级信息的丢失可能在 downstream 任务中被放大,而使用者往往难以察觉。
往返字符损失(round-trip character loss) 指将原始文本分词后再解码回字符串时丢失的字符比例,是检验分词器字符级安全性的直接手段。理想情况下分词应满足“编码-解码”恒等,即往返后文本与原文完全一致。然而,当分词器使用 UNK 标记处理未登录字符,或在规范化(normalization)阶段静默删除某些字符时,往返结果就会与原文产生偏差。这种损失在拉丁字母语言中通常微不足道,但在使用复杂文字的低资源语言中可能显著。论文发现两个现有分词器最多静默删除了 0.85% 的字符,这类问题不会报错、难以察觉,却会系统性污染训练数据,并在下游任务中被放大。往返检查因此成为评估低资源分词器时不可或缺的一道防线。
局限与开放问题
作者明确说明,评估仅限内在指标,对下游任务的影响尚未测试。此外,与最佳基线的微小差距和缺乏显著性检验,意味着“最佳”的结论需要谨慎看待。代码和分词器文件已公开(DOI: 10.5281/zenodo.23962474),为后续复现和下游评测提供了基础。
对于信德语NLP实践者来说,这项工作的价值不仅在于提供了一个更强的分词器选项,更在于建立了一个可复现的评测框架——这正是低资源语言研究最稀缺的基础设施。
相关推荐

Replit Missions发布:多智能体协作开启AI编程新范式
Replit发布Missions功能,支持多智能体协同完成目标驱动的开发任务。同时宣布Microsoft Fabric集成正式可用、Replit Desktop本地工作功能上线,AI编程迈向工作流整合新阶段。

上海便利店6台机器人24小时实测:2/3通过考核,夜班成训练场
上海便利店6台机器人完成24小时轮班实测,直播吸引超200万人观看。机器人协助顾客683次、制作咖啡147杯,但6台中仅4台通过考核。夜班失误转化为训练数据,清洁机器人还曾自行离店找垃圾桶。

@ai-sdk/vue 4.0.179 发布:一次依赖同步更新的启示
@ai-sdk/vue 4.0.179 补丁发布,同步底层 ai@7.0.179 依赖。本文解读 AI SDK 适配包的版本跟随机制、高频小步发布节奏,以及对 Vue 项目升级策略的实际意义。