尼泊尔语英语混码语音识别：数据准备与模型适配实战

尼泊尔语使用者日常对话中常混入英语词汇，但多语种语音识别系统往往在语码转换和英语书写脚本上表现不佳。本文基于一项针对SraVaani模型的研究，探讨如何通过数据准备与模型适配提升尼泊尔语-英语混码语音的识别效果。

混码语音识别的挑战与SraVaani模型

尼泊尔语与英语的混码现象在口语中极为普遍，但语音识别系统面临两大难题：一是语言切换频繁导致声学模型和语言模型难以同步适应；二是英语词汇在尼泊尔语转写中常以天城文（Devanagari）拼写，与标准英语拼写不一致，造成训练数据与测试数据之间的脚本不匹配。

研究选用的SraVaani是一个4.49亿参数的混合TDT-CTC模型，其预训练分词器不支持数字和若干常用符号。直接替换分词器或丢弃包含这些符号的录音都会损失信息，因此作者采用了一种折中方案：为数字生成尼泊尔语和英语两种读法，并利用零样本ASR输出选择更合理的转写形式。这一预处理步骤在不改动模型架构的前提下，缓解了分词器覆盖不足的问题。

TDT-CTC 混合架构：TDT（Token-and-Duration Transducer）与 CTC（Connectionist Temporal Classification）是两种常见的语音识别输出建模方式。CTC 假设帧间输出条件独立，通过引入空白符号对齐音频与文本，训练简单但对齐粗糙；TDT 则在 transducer 框架上显式建模每个 token 的持续时间，能够更灵活地处理语速变化和重复字符。将两者混合（如共享编码器、联合训练 CTC 与 TDT 损失）可以兼顾 CTC 的快速收敛与 TDT 的精细对齐能力，在多语种、语速多变场景下通常优于单一结构。SraVaani 采用该混合架构，其编码器需要同时适应不同语言的声学特征，这也解释了后文为何冻结编码器会导致性能明显下降。

分词器（Tokenizer）与子词覆盖：ASR 模型的分词器负责将文本标签切分为子词单元，其词表在预训练阶段确定。若目标语言的数字、符号或特定脚本（如天城文拼写的英语词）不在词表内，模型无法直接输出对应 token，只能将其映射为未知符号或丢弃。替换分词器意味着解码器输出层需要重新初始化，会破坏预训练获得的语言知识；而过滤数据则减少训练样本。因此，在词表受限时，通过转写规范化（如将数字写成读法）来适配分词器，是一种低成本的折中策略。

数据准备：172.8小时语料与数字处理策略

研究构建了覆盖六个尼泊尔语语音领域的172.8小时语料库，确保领域多样性。针对分词器不支持数字和符号的问题，团队没有简单过滤相关片段，而是为每个数字生成尼泊尔语和英语两种读法，再通过零样本ASR对两种读法的识别置信度进行排序，选择更 plausible 的形式作为转写标签。这种方法既保留了包含数字的语音数据，又避免了人工标注的额外成本。

你可能没注意到，数字片段的处理对最终性能有直接影响：在测试集上，当模型训练时排除数字片段，数字语音的WER从14.3%上升到21.3%，说明保留并合理处理数字数据对识别精度至关重要。

模型适配：全量微调与冻结编码器的对比

研究对比了多种微调策略。全量微调将测试词错误率（WER）从48.6%降至17.1%，而训练12个epoch后WER进一步降至16.3%。作为参照，微调后的Whisper large-v3-turbo在该任务上WER为16.4%，两者性能接近。

冻结编码器仅微调解码器时，WER升至25.5%，表明编码器需要适应尼泊尔语混码语音的声学特征。这一结果与语音识别领域的一般经验一致：编码器承载了大部分声学建模能力，冻结它会导致模型无法充分捕捉目标语言的音素和韵律变化。

域外评估：FLEURS上的转写约定影响

除了域内测试，研究还在FLEURS数据集上评估了模型性能，并对比了原始参考转写与混码脚本替代转写的效果。结果显示，转写约定只能解释部分域外性能损失，而非全部。这意味着域外性能下降还涉及声学域偏移、语言模型偏差等其他因素，单纯统一转写脚本不足以完全弥合差距。

这一发现对混码语音识别的实际部署有启示：在构建多语种ASR系统时，需要同时关注转写规范的一致性和声学模型的领域自适应能力。

FLEURS 数据集：FLEURS（Few-shot Learning Evaluation of Universal Representations of Speech）是 Google 发布的 multilingual 语音识别基准，覆盖 102 种语言，每种语言约 10 小时监督数据及少量 few-shot 数据。其音频多来自公开朗读语料，发音清晰、域相对单一，与日常对话混码语音在声学条件、语速、口音上存在明显差异。因此，在 FLEURS 上评估混码模型时，性能下降不仅来自转写脚本不一致，还来自训练域（尼泊尔语-英语口语对话）与测试域（朗读式纯净语音）之间的声学域偏移。原文指出转写约定只能解释部分损失，正是提醒读者区分“标注规范差异”与“声学/语言模型域偏移”两类不同来源的误差。

实践启示与局限

该研究展示了在有限数据条件下适配语音基础模型的可行路径：保留分词器、通过零样本ASR辅助数据清洗、全量微调编码器与解码器。同时，数字片段的重要性提醒开发者不要轻易丢弃“不兼容”的数据，而应设计针对性的转写策略。

提一嘴，该研究仅针对尼泊尔语-英语混码场景，结论向其他语言对的泛化能力尚需验证。此外，12个epoch的微调结果与Whisper large-v3-turbo接近，但模型规模更小（4.49亿参数），在推理效率上可能具备优势，这一点原文未展开讨论。