盲审实验揭示：评分标准过度依赖首次评分

盲审实验揭示评分标准中的锚定效应

在模型评估中，多人评分的一致性常被视为评分标准稳定的证据。然而，一次盲审实验却暴露了隐藏的锚定效应：当评分者看不到之前的分数和评论时，一致率大幅下降。本文基于Reddit上一位从业者的分享，探讨这一现象及其对AI评估的启示。

实验背景：非盲审下的高一致率

该团队让3位评审员对480个模型输出进行评分，共得到1440次评审。在第二、三轮评审中，之前的分数和评论是可见的。报告显示，在这1440次评审中，有1022次判断一致。团队因此认为评审者间一致性很高，评分标准稳定，人类评分看起来也经过了校准。一致性图表“非常自满”。

评审者间一致性（Inter-rater reliability） 是衡量多个评分者对同一对象评分一致程度的统计指标，常用 Cohen's Kappa、Krippendorff's Alpha 或组内相关系数（ICC）来量化。高一致性通常被解读为评分标准清晰、评审者经过良好校准。但一致性指标本身只度量“结果是否相同”，并不区分这种相同是源于对标准的共同理解，还是源于评审者之间的相互影响。在非盲审场景下，后一位评审者能看到前序分数与评论，一致性可能被系统性抬高，从而掩盖标准中的模糊地带。

盲审结果：一致率显著下降

为了验证评分标准的稳健性，团队对同一组数据进行了盲审。结果，一致次数降至749次，并且有96行显示对评分标准的不同解读。当之前的评论消失后，一致率立刻下降，这让团队感到震惊。移除分数可见性使得评审者的锚定效应难以忽视。

锚定效应与评分标准校准的误区

团队意识到，他们的评分标准校准实际上训练人们去与现有判断保持一致，并隐藏了标准模糊的地方。例如，在裁决队列中，有案例显示一位评审员将部分合规标记为通过，而另一位标记为失败。这种分歧在非盲审中可能被之前的分数所掩盖。

锚定效应（Anchoring effect） 由 Tversky 与 Kahneman 在 1974 年提出，指人们在不确定情境下做判断时，会过度依赖最先接触到的数值或信息作为参照点，即使该参照点与当前判断无关。在评分场景中，前一位评审者的分数就构成锚点：后续评审者会不自觉地调整自己的判断向锚点靠拢，且调整幅度通常不足。锚定效应与从众效应、顺序效应常交织出现，使得非盲审下的高一致率难以区分是“标准统一”还是“社会影响”的产物。盲审通过移除锚点，能更真实地暴露评审者对标准的独立理解程度。

如何区分稳定的评分标准与虚假一致？

团队正在考虑是否需要重写标准、增加校准示例或更换评审员，然后再信任下一次的一致性数据。这个问题对于依赖人工评估的AI领域尤为重要。

多源视角：虽然本文主要基于单一来源，但锚定效应在心理学中已有广泛研究，评分中的顺序效应和从众效应也是常见现象。在AI评估中，确保评分标准的清晰性和评审员的独立性是关键挑战。

校准（Calibration） 在评估流程中通常指通过培训、示例和讨论，使多位评审者对评分标准的理解趋于一致。校准本身是提升评估质量的重要手段，但若校准过程中评审者反复接触彼此的历史评分，就可能把“与现有判断保持一致”误当作“理解标准”。有效的校准应侧重于让评审者独立对边界案例做出判断并解释理由，再比较理由的差异，而非直接对齐分数。区分真实一致与虚假一致的关键，是比较盲审与非盲审条件下的一致率差异，并分析分歧集中于哪些评分维度。

实践建议

1. 定期进行盲审：在多人评分中，至少安排一轮盲审以检测锚定效应。
2. 明确评分标准：通过校准示例和培训减少模糊性，但要注意校准可能带来的从众压力。
3. 分析分歧案例：对于盲审中出现的分歧，深入讨论以完善标准，而不是简单追求一致率。
4. 评审员轮换：定期引入新评审员，避免群体思维。

通过这次实验，团队认识到高一致率不一定代表评分标准稳定，可能只是锚定效应的结果。在AI模型评估中，保持警惕并采用盲审等方法，才能获得更可靠的评估结果。