大模型做翻译质量标注：人与模型谁更靠谱？

机器翻译（MT）质量评估长期依赖人工标注，成本高、周期长。大语言模型（LLM）被寄予厚望，认为可以替代人类判断，实现更高效、更低成本的评估。然而，一篇新论文对LLM在两种主流评估方案——多维质量指标（MQM）和错误跨度标注（ESA）——上的表现进行了系统测试，结论是：在跨越多种语言对、领域和标注粒度时，人类和模型都面临挑战。

为什么用LLM做翻译质量标注？

传统机器翻译评估依赖BLEU、ROUGE等自动指标，但这些指标与人类判断的相关性有限。MQM和ESA是更细粒度的方案：MQM要求标注错误类型和严重程度，ESA则标注错误文本片段。两者都需要专业语言学家投入大量时间。

LLM的出现提供了新可能——模型可以快速阅读译文、定位错误、给出严重等级。但问题在于：这种能力在不同语言对、不同领域、不同标注粒度上是否稳定？如果不能，替代人工就无从谈起。

BLEU、ROUGE 等自动指标的核心局限在于它们只做表面匹配：BLEU 统计机器译文与参考译文之间 n-gram 的重合度，ROUGE 则常用于摘要任务、关注召回率。这类指标既无法识别语义错误（如同义替换被误判为错误），也无法区分错误严重程度（漏译一个功能词与曲解整句含义可能得到相同惩罚）。更关键的是，它们要求存在一条高质量参考译文，而许多真实场景中并不具备这一条件。MQM 与 ESA 之所以被视为更接近人类判断的方案，正是因为它们放弃了对参考译文的依赖，转而直接标注译文中的错误：MQM 按错误类型（如准确性、流畅性）和严重程度（如轻微、严重）分类计数并加权，ESA 则要求标注者精确圈出错误对应的文本片段。两者都更贴近翻译质量的本义，但代价是标注成本急剧上升，这也正是引入 LLM 的动机所在。

论文如何评估LLM的标注能力

研究设计覆盖了多个维度：

• 评估方案：MQM（多维质量指标）和ESA（错误跨度标注）两种主流框架
• 语言对与领域：跨越多种语言组合和文本领域
• 标注粒度：从粗粒度错误类型到细粒度错误片段

核心指标是LLM与人类标注者之间的一致性。如果一致性高，说明模型可以替代人工；如果低，则暴露模型在特定场景下的盲区。这种设计比单一语言对或单一领域的测试更有说服力。

关键发现：模型与人类各有短板

论文摘要指出，LLM在这两种方案上的表现并非全面优于或劣于人类，而是双方都受到挑战。这意味着：

• 模型在某些语言对或标注粒度上可能接近人类水平
• 在另一些场景下，模型与人类的一致性显著下降
• 人类标注者自身也存在不一致性，这为评估模型设立了“上限”

MQM和ESA的对比也值得关注。MQM需要理解错误类型和严重程度，ESA需要精确定位错误跨度，两者对模型能力的要求不同。模型可能擅长其中一种，而在另一种上表现不佳。

标注者间一致性（inter-annotator agreement）是理解本文结论的关键概念。在人工标注研究中，通常会让多位标注者对同一批数据独立标注，再用 Cohen's Kappa、Krippendorff's Alpha 等统计量衡量他们之间的一致程度。如果连专业语言学家之间的一致性都只能达到中等水平，那么这份标注数据本身就带有噪声，用它作为“金标准”去评判模型并不公平——模型即便完全复现人类判断，也会因为人类彼此不一致而被判为“不一致”。论文强调“人类与模型都受到挑战”，部分含义正在于此：评估 LLM 的前提是先厘清人类基准的可靠边界。此外，不同标注粒度对模型能力的考验不同，粗粒度的错误类型分类更依赖语义理解，细粒度的错误跨度定位则更依赖边界判断和位置感知，模型在这两类任务上的强弱很可能并不一致。

对机器翻译评估实践的影响

这项研究传递了几个实际信号：

不要盲目替换人工。 LLM可以作为辅助工具，快速筛选明显错误、预标注候选片段，但最终判断仍需人类复核，尤其是在高精度要求的场景。

评估需要分场景。 不同语言对、不同领域、不同标注方案下，LLM的可靠性差异明显。一刀切地认为“LLM可以替代人工评估”是危险的。

人类标注本身也需要改进。 如果人类标注者之间的一致性都不够高，那么以人类为“金标准”来评判模型就存在根本性局限。论文标题中的“Humans and Models Are Both Challenged”正是这一困境的概括。

“模型预标注 + 人类复核”属于人机协同（human-in-the-loop）范式的一种具体形式，其可行性取决于模型预标注的召回率与误报率。如果模型能高召回地圈出候选错误片段，人类标注者只需做确认或否决，整体效率可显著提升；但如果模型漏掉大量细微错误，或在无错误处频繁误报，复核工作反而可能比从头标注更耗时。实践中还需考虑预标注结果对人类的锚定效应——标注者可能倾向于接受模型给出的错误类型和严重程度，从而降低标注的独立性和多样性。因此，设计混合流程时不仅要评估模型准确率，还要评估它在真实工作流中是否改变了人类的判断行为，以及这种改变对最终数据质量意味着什么。

未来方向

要让LLM真正用于机器翻译质量标注，至少需要三方面工作：

1. 扩大测试覆盖：在更多语言对、领域和标注方案上验证模型表现
2. 建立更可靠的人类基准：明确人类标注的一致性和置信区间
3. 混合流程设计：模型预标注 + 人类复核，在成本和质量之间找到平衡

当前结论是谨慎的：LLM在翻译质量标注上有潜力，但还远未到全面替代人类的阶段。对于依赖机器翻译质量评估的团队，这意味着需要更细致地设计评估流程，而不是简单地把标注任务交给模型。