回译依然有效：用单语数据提升LLM低资源翻译

低资源语言的机器翻译一直是NLP领域的硬骨头。当预训练大语言模型（LLM）已经能在高资源语言上表现惊艳时，面对奥里亚语、斯瓦希里语这类平行语料稀缺的语言，仅靠few-shot prompting或小规模平行语料微调，效果往往不尽如人意。一篇最新研究提出了一个反直觉的结论：如果手头有一定量的低资源语言单语数据，最有效的利用方式不是继续预训练（continued pretraining），而是回归前LLM时代的经典技术——回译（Back-Translation, BT）。

核心方法：让微调后的LLM自己造平行语料

研究团队的核心思路并不复杂。给定一个已经在小规模平行语料上微调过的LLM，以及每种语言（源语言和目标语言）的单语数据，他们让当前模型把单语句子翻译成另一种语言，生成合成平行句对，再用这些句对反向训练模型。平行语料上的更新与回译生成的语料交替进行，以保证学习过程的稳定性。

这里的关键判断是：与其把单语数据用于继续预训练来让模型“熟悉”低资源语言，不如直接把它转化为翻译训练信号。预训练只让模型见到语言的形式，而回译让模型见到两种语言之间的映射关系——后者对翻译任务的增益显然更直接。

在奥里亚语和斯瓦希里语上，仅用1000对平行语料，回译方法在域内评测中比继续预训练高出7.7到16.4个XCOMET-XXL点。更说个细节，当中间翻译采用beam decoding时，回译训练出的模型甚至超过了使用10倍平行数据的模型。

继续预训练（Continued Pretraining） 是指在已预训练好的大语言模型基础上，使用特定领域或特定语言的单语语料再进行一轮自监督训练（通常是因果语言建模目标），让模型在该语言上积累更强的语言建模能力。它的优势是能利用海量无标注单语数据，但代价是需要大量算力，且学到的只是语言形式层面的分布，并不直接针对翻译这一跨语言映射任务。与之相对，回译（Back-Translation, BT）是统计机器翻译时代的经典技术：用当前模型把目标侧单语文本翻译成源语言，生成合成平行句对，与真实平行语料联合训练。BT 的关键在于把无标注单语数据直接转化为翻译监督信号，而非仅仅让模型“见过”这种语言。

XCOMET-XXL 是基于 COMET 框架的新一代神经翻译质量评估指标，底层使用大型多语言模型，对译文与参考译文之间的语义一致性和错误片段进行建模。相比 BLEU 等基于 n-gram 重叠的指标，XCOMET 对词序变化、同义替换更鲁棒，因此更适合评估低资源语言上的翻译质量，数值越高表示译文质量越好。

Beam decoding 是序列生成中的常用解码策略，在每个时间步保留概率最高的 k 个候选序列（beam width），最终选择整体得分最高的输出。相比贪心解码，beam decoding 能探索更多候选路径，通常得到更流畅、更准确的译文，但计算开销略高。研究中正是利用 beam decoding 生成更高质量的回译句对，从而提升后续训练效果。

关键实验发现：回译为何比继续预训练更优

数据效率的显著优势

回译方法最直接的吸引力在于数据效率。10倍平行数据的模型被回译方案击败，意味着在低资源场景下，合成数据的质量可能比数据量本身更重要。回译生成的句对直接来自当前模型的最佳翻译输出，天然地聚焦于模型当前的能力边界，相当于一种自适应的数据增强。

上下文示例的增益

研究还发现，从平行数据中检索出的in-context示例能进一步提升回译效果。这说明回译并非简单地用模型替换人工标注，而是可以和prompting技术形成互补。检索到的示例为模型提供了更明确的翻译方向，使得生成的合成句对质量更高。

In-context examples（上下文示例） 指的是在向模型输入待翻译句子之前，先在提示中给出一到若干组“源句—目标句”的示范对，让模型在上下文中“学会”当前任务的翻译方向与风格。与微调不同，这些示例不改变模型参数，只在推理时动态提供。在低资源翻译中，示例能显著降低模型对语言方向或领域的歧义，起到隐式条件约束的作用。本研究中，示例是从平行语料中检索得到，与回译生成过程结合，使合成句对更贴合真实翻译分布，从而提升回译语料质量。

跨语言的普适性验证

实验覆盖了五种低资源语言，并以印地语作为高资源对照组，使用了两个3B规模的骨干模型。在所有低资源语言上，回译相比仅用平行数据微调，在翻译到低资源语言的方向上提升了16%到173%的XCOMET-XXL分数。奥里亚语和梵语上的盲测人工评估也验证了自动指标的趋势，说明这不是指标游戏。

盲测人工评估（blind human evaluation） 是指评估者在不知道译文由哪个系统生成的情况下，对翻译质量进行打分或排序。这种评估方式能有效规避自动指标可能存在的偏差，也更能反映译文在语义忠实度、流畅度等维度的真实质量。在本研究中，盲测人工评估的结果与 XCOMET-XXL 的自动指标趋势一致，这为回译方法提供了更强的可信度：其增益并非只体现在某个特定自动指标上，而是被人类评估者所认可。

单语数据的来源、质量与数量分析

论文专门分析了单语文本的三个维度：来源、质量和数量。这部分分析对于实际应用有直接指导意义。单语数据的来源会影响回译生成的合成语料质量——网络爬取的数据和领域内数据显然会带来不同的效果。质量维度则涉及噪声和领域匹配度，低质量单语数据可能引入错误的翻译模式。数量方面，更多单语数据通常有帮助，但存在边际递减。

这些分析揭示了一个实践原则：回译的效果不仅取决于“有没有”单语数据，还取决于“什么样的”单语数据。在资源有限的情况下，优先使用领域匹配、质量可控的单语文本，比盲目扩大数据规模更有效。

对低资源翻译实践的启示

这项研究传递了几个值得关注的信号。回译这一在统计机器翻译时代被广泛使用的技术，在大模型时代并未过时。当平行语料极度稀缺但单语数据尚可获得时，回译提供了一条比继续预训练更高效的路径。对于从事低资源语言翻译的团队来说，这意味着不需要追求大规模平行语料，也不需要昂贵的继续预训练，一个微调过的3B模型加上合理的回译流程就能带来显著提升。

方法的简洁性也是其优势。整个流程不需要修改模型架构，不需要额外的预训练阶段，只需要在已有微调流程中插入回译生成和交替训练的步骤。这种低门槛特性使得它容易被现有翻译流水线采纳。

当然，回译的效果依赖于初始平行语料的质量和单语数据的选择。如何系统性地评估和筛选单语数据，仍然是一个需要进一步探索的问题。