翻译基准测试能替代母语评测吗？MMLU代理有效性研究

翻译基准的普遍做法与隐忧

在非英语语言的大模型评测中，直接用机器翻译英文基准（如 MMLU）是常见做法。这背后的假设是：翻译后的测试仍然测量相同的语言与知识能力。但一篇题为《Gold vs. Translation: Are We Measuring Language, Knowledge, or Locality in Translated Benchmarks?》的研究对这一假设提出了系统性质疑，将问题定义为**代理有效性（proxy validity）**问题。

研究对比了 DeepL 翻译的 MMLU 与六个母语基准，覆盖五种北欧和波罗的海语言，共七组配对，每组配对评测 29 个模型。核心问题不只是排名是否一致，而是：在控制模型规模和语言熟练度之后，翻译得分是否还能为母语表现提供增量预测价值。

代理有效性（proxy validity） 借自心理测量学中的效度理论。当一个测量工具不直接测量目标构念，而是通过一个可观测的替代指标来推断目标构念时，就需要评估这个替代指标的代理效度。在评测语境下，翻译基准是“代理”，母语基准所测的能力是“目标构念”。代理有效性的核心问题是：代理得分与目标得分之间是否存在足够强的、在控制混淆变量后仍然成立的关联。仅凭两者排名相关并不足以确立代理有效性，因为排名相关可能由模型规模、语言熟练度等共同因素驱动；因此研究采用增量解释力（ΔR²）作为更严格的标准，检验控制协变量后翻译得分是否仍能解释母语表现的额外方差。

代理有效性因基准而异

结论并非简单的“翻译基准可用”或“不可用”。对七组配对施加统一的稳健性标准后，研究得到四个稳健效应、两个边缘效应和一个零结果。

最有力的证据出现在课程重叠型基准上，例如 Skolprov，其增量解释力 ΔR²=.128（95% CI [.038,.253]），说明翻译 MMLU 得分能显著预测该母语基准的表现。反之，对于瑞典特定事实知识基准 SwedishFacts，翻译 MMLU 没有提供显著的增量价值（p=.242）。

这一对比指向一个清晰的模式：当翻译基准的源内容与母语评测目标重叠时，代理效果更好；而本地锚定的知识则难以被可靠捕捉。

ΔR²（增量决定系数） 是分层回归中的关键指标：在已包含控制变量（如模型规模、语言熟练度）的基准模型之上，加入翻译 MMLU 得分后，回归模型解释的方差比例增加多少。ΔR² 越大，说明翻译得分携带的、独立于控制变量的预测信息越多，代理效度越强。研究报告中给出的 95% 置信区间（如 [.038,.253]）用于判断该增量是否稳健地偏离零；若区间不含零，则效应在统计上显著。此外，"四个稳健、两个边缘、一个零结果"是对七组配对施加统一稳健性标准后的分类，这种预先设定统一判据的做法有助于避免在不同配对上选择性报告，从而降低多重比较带来的假阳性风险。

语言能力还是本地知识？

研究还揭示了一个混淆因素：SwedishFacts 是唯一采用开放式回答格式的基准，因此无法完全区分本地内容与回答格式各自的影响。这意味着“本地知识更难被翻译基准代理”这一结论，可能部分来自格式差异，而非纯粹的知识本地性。

从方法论角度看，这项研究提醒评测者：翻译基准测到的可能更多是通用语言能力和课程知识，而非特定文化或地区的 factual knowledge。用翻译 MMLU 宣称模型“掌握了瑞典知识”缺乏证据支持。

开放式回答格式指模型自由生成文本而非从选项中选择答案的评测形式。与选择题相比，开放式格式通常需要额外的评分环节（如人工评分或模型评分），并可能引入评分者一致性、答案长度、表述风格等额外方差来源。正因如此，当某个基准同时具有开放式格式和本地内容两个特征时，二者对结果的贡献在统计上难以分离——这正是本研究指出的混淆（confound）。要厘清这一混淆，理想设计是构造格式与内容交叉的 2×2 基准矩阵，或在同一内容上比较两种回答格式，从而把格式效应从内容本地性效应中剥离出来。

对实践者的启示

对于需要非英语评测的团队，这项研究给出了可操作的判断依据：若评测目标是通用学科能力，翻译基准可作为低成本代理；若目标是本地化知识，则应优先使用母语创建的基准。跨语言评测的设计，需要先回答“测什么”，再决定“用什么测”。