偏见分数低不等于模型更公平：多语言审计的翻译陷阱

一个被广泛误读的指标

多语言语言模型的偏见审计，通常采用一种看似直接的方法：比较模型在英语测试集上的平均刻板印象得分，与其在另一种语言上的平均得分，然后把两者之间的差异解读为公平性差异。分数更低，就意味着模型在该语言上更公平——这个推论在业界被反复使用，却很少有人追问：这个差异里有多少是真实信号，又有多少只是噪声？

一篇最新研究对这个问题给出了系统性的回答。研究团队审计了十个开源模型、覆盖八种语言，在全部 70 个「模型—语言」配对中，非英语的刻板印象得分都低于其英语水平。表面上看，这似乎说明模型在处理非英语时偏见更少。但研究者做了一件更细致的事：他们把这些分数拆解开来，逐项检验这种下降究竟来自哪里。

换个措辞，分数也会掉

要判断语言切换带来的分数下降是否有意义，首先需要一个基准：如果仅仅是换一种说法表达同样的英文测试项，分数会怎么变？

研究者将英语测试项进行改写（reword），发现改写本身就会让分数发生位移。这构成了一个关键的对照基线——任何跨语言的分数变化，都必须先超过「换个说法」所能解释的幅度，才算得上是真正的语言效应。

对于印地语、韩语和斯瓦希里语，跨语言带来的分数下降明显超过了英语改写所产生的波动，这意味着这里确实存在某种语言相关的影响。但研究者进一步追溯发现，这些下降的大部分来自 StereoSet 数据集中的特定测试项，而非全局性的公平性改善。这个细节很重要：它说明平均分的移动可能被少数测试项主导，而不是模型行为的整体转变。

StereoSet 是多语言偏见审计中最常用的基准数据集之一，由 Mooney 等人于 2021 年发布，专门用于测量语言模型的刻板印象程度。它的题目采用「完形填空」形式：给定一个包含特定群体（如性别、种族、职业）的上下文句子，模型需在三个候选尾句中选出最可能的一个——一个刻板印象选项、一个反刻板印象选项、一个与群体无关的干扰项。模型选择刻板印象选项的比例即构成「刻板印象得分」，得分越高表示偏见越强。StereoSet 原版为英语，后续被扩展为多语言版本，成为跨语言偏见比较的主要数据来源。需要注意的是，由于每个测试项都经过翻译，其条目层面的语义和难度可能发生变化，这正是本文研究者所揭示的核心方法论隐患所在。

翻译越差，分数越低——但这不是全部

一个自然的假设是：翻译质量差导致了分数下降，因为糟糕的翻译改变了测试项的含义。研究者逐条评判了每一个翻译，结果确实发现，不完美的翻译带来的分数下降更大。

但事情没有这么简单。即便只看那些忠实、准确的翻译，分数下降的幅度也几乎同样大。这直接排除了「翻译错误是主因」的解释。

更具说服力的是相关性分析。一个测试项的英语得分，对它翻译后得分的预测能力很弱——相关系数只有 0.23，在忠实翻译上也只有 0.27。相比之下，同一个测试项改写前后的英语得分相关系数达到 0.48，几乎是前者的两倍。换言之，翻译打乱了测试项之间的得分结构，而这个结构恰恰是偏见审计真正关心的东西。

相关系数（r） 是衡量两个变量线性关系强度的统计量，取值范围为 -1 到 1，绝对值越接近 1 表示关系越强，接近 0 则表示几乎没有线性关联。在偏见审计场景中，研究者用它来检验「同一测试项在不同版本下的得分是否保持一致」。如果翻译只是换了一种语言外壳而未改变测试项的实质，那么英语得分与翻译得分的相关系数应当很高。本文中 r=0.23 意味着英语得分只能解释翻译后得分约 5%（r²）的变异，说明翻译过程实质上重构了测试项的得分结构。作为对照，同一语言内改写前后的相关系数达到 0.48，说明改写对结构的破坏远小于翻译——这一对比构成了判断翻译干扰程度的关键量化依据。

平均分掩盖了条目层面的真相

研究者给出了一个核心论断：平均分无法区分「更低的偏见」和「不同的条目得分模式」。

几个证据支撑这一点。首先，翻译后的得分并没有更接近中性——分数只是变了，并没有变得「更不偏见」。其次，不同模型在翻译项上的得分表现出高度一致性，说明这不是随机噪声，而是一种系统性的模式偏移。最后，在印地语或西班牙语内部，一个翻译项的得分与其自身的改写得分相关系数高达 0.84 和 0.82，远高于它与英语原项的跨语言相关性。

这组数字揭示了一个容易被忽略的事实：同一种语言内部的得分结构是稳定的，但跨语言的结构被翻译过程打断了。当我们拿英语平均分和印地语平均分做比较时，我们实际上在比较两套并不可比的条目集合。

条目层面的得分结构指的是每个测试项的得分在整套题目中相对于其他题目的位置模式，而非单一的平均值。举例来说，若模型在英语中对「护士-女性」这一测试项得分较高、对「工程师-男性」得分较低，那么这种条目间的高低排序就构成了结构。偏见审计真正想测量的是这种结构——哪些刻板印象被强化、哪些被削弱。当翻译打乱了这一结构时，即便平均分不变，模型在不同群体上的偏见分布也可能已经面目全非。平均分只反映整体水平，而结构反映的是偏见的方向和分布。本文的核心方法论贡献，正是把分析单位从「一个平均分」下沉到「每个测试项的得分及其排序」，从而暴露出平均分所掩盖的真相。

三个会悄悄抹掉偏见信号的流程错误

除了翻译本身的干扰，研究者还记录了多语言偏见审计流程中三个常见错误，它们会静默地抹掉偏见信号：

• 测试项对齐问题：跨语言比较时，若未确保条目的严格对应，平均分的差异可能只反映测试集构成的差异。
• 翻译筛选不当：过滤掉「不完美」的翻译看似能提高数据质量，却可能恰好删除了那些携带偏见信号的条目。
• 指标聚合方式：在条目层面得分结构已被打乱的情况下，直接聚合为单一平均值，会掩盖真实的分歧模式。

这些错误之所以危险，是因为它们不会报错——审计流程照常输出一个漂亮的平均分，只是这个数字已经不再指向它声称测量的东西。

这项研究对偏见审计意味着什么

研究的结论并不否定多语言偏见审计的价值，而是要求从业者改变解读方式。

当一份报告显示某模型在韩语上的刻板印象得分低于英语时，正确的反应不是「这个模型对韩语更公平」，而是先追问：这个下降是否超过了英语改写的基线？它是否集中在少数测试项上？条目层面的得分结构是否仍然可比？

研究者已经公开了代码，这意味着其他团队可以复现这套逐项检验的方法。对于把偏见分数写进模型卡或合规文档的团队来说，这提供了一个必要的提醒：一个更低的数字，可能只是翻译带来的另一种噪声形态，而非公平性的任何实质改善。

在多语言模型越来越普及的当下，审计方法本身的严谨性，和模型行为本身一样值得被审视。

模型卡（Model Card） 是 Mitchell 等人于 2019 年提出的一种模型文档规范，要求开发者在发布模型时披露其预期用途、性能指标、局限性和伦理考量，偏见审计分数是其中的常见条目。合规文档则指面向监管要求的披露材料，如欧盟《人工智能法案》中对高风险 AI 系统提出的公平性评估要求。本文的提醒对这两类文档尤为关键：如果审计分数是在未控制翻译干扰的情况下跨语言聚合得出的，那么写入模型卡的「韩语刻板印象得分低于英语」可能只是翻译噪声的产物，而非可辩护的公平性证据。研究者公开代码的意义在于，它让这一逐项检验流程可被复现和纳入标准审计管线，从而避免不合规的偏见声明进入正式文档。