Jev式System One模型能减少选择偏差吗？结构稳定性遭质疑

引言：选择偏差——LLM的顽固难题

大型语言模型（LLM）即使被明确要求忽略选项呈现顺序，或经过推理提示的引导，仍然会表现出选择偏差。这种偏差在多项选择任务中尤为隐蔽：模型看似给出了稳定的答案，但换一种选项排列方式后，原本正确的选择可能消失。近期，一类被称为Jev式System One的模型试图通过直接对候选答案预测概率来规避生成式推理的偏差，但这类结构是否真正解决了问题？一项新的系统性测试给出了令人意外的答案。

选择偏差（Selection Bias） 在LLM语境下，特指模型对多项选择任务中选项的呈现位置、顺序或格式产生非内容相关的偏好，而非指统计学中样本选择偏差。常见表现包括：倾向选择第一个（首因偏差）或最后一个选项（近因偏差），或对特定字母标号（如“A”“C”）有系统性偏好。这种偏差与模型是否“知道”正确答案无关——即使内部知识充分，输出仍可能被排列方式左右。其成因部分源于训练数据中答案分布的不均衡（如教材习题答案多位于特定位置），部分源于自回归生成过程中的位置编码与注意力模式。选择偏差的危害在于：它使模型表现看似稳定，实则脆弱，在真实部署中可因输入格式的微小变化导致答案翻转，且难以通过常规准确率指标察觉。

测试设计：洗牌选项，追踪个体答案

研究团队设计了一个简洁而严格的测试：保持问题和候选内容不变，仅打乱选项的呈现顺序。他们覆盖了两个Jev版本、十二个Jev复现模型以及六个生成式LLM，将每个模型的个体答案在八种不同的呈现顺序下进行追踪，并与固定顺序重复测试的结果进行对比。

主要评估集包含来自两个基准的1,700个问题。这种设计的关键在于，它不满足于测量整体准确率，而是追踪同一个问题在不同排列下答案的“命运”——哪些初始正确的答案在洗牌后失效，哪些错误持续存在。

Jev式System One模型指的是一类不依赖自回归生成、而是直接对每个候选答案计算条件概率（如P(答案|问题)）并取最大值的判别式架构。其名称借用心理学中“System 1”快速、直觉式决策的隐喻，与需要逐步推理的“System 2”生成式模型相对。这类模型通常基于编码器结构（如BERT式），将问题与每个选项拼接后一次性前向传播，输出各选项的得分。理论上，由于不涉及逐词生成，它应更少受生成顺序和提示格式的干扰。然而，本研究揭示，即使这种“直接打分”结构，仍会因选项排列变化而产生系统性答案漂移，说明偏差可能根植于编码阶段对位置信息的敏感，而非仅源于生成过程。

核心发现：准确率稳定，但失败集显著扩大

结果揭示了一个关键矛盾：Jev模型的准确率变化不到两个百分点，看似非常稳定。然而，相对于原始顺序，其累积失败集扩大了27%–29%，并且首次失败会持续影响到最终呈现。这意味着，尽管总体准确率波动很小，但大量原本正确的答案在选项重排后丢失了。

更你可能没注意到，这种初始成功的损失远大于固定顺序重复下的表现，即使对于高度可重复的Jev复现模型也是如此。换句话说，Jev模型能“稳定地”给出答案，但这种稳定性并不等同于对选择偏差的抵抗力。

与生成式LLM对比：Jev并无普遍优势

研究还对比了Jev模型与六个生成式LLM基线。在保留正确选择方面，Jev并未展现出普遍优势。也就是说，Jev式结构并没有比传统生成式模型更好地抵御选项顺序变化带来的偏差。

这一发现挑战了“结构化决策能自然减少选择偏差”的直觉。Jev模型直接预测概率的设计，理论上应该更专注候选内容本身，但实验表明，它们仍然会受到呈现顺序的显著影响。

聚合策略的局限：投票与一致同意都不可靠

面对个体答案的不稳定，一个自然的想法是通过聚合来提升鲁棒性。研究测试了投票机制，发现对Jev模型仅有 modest 的增益。更令人担忧的是，即使所有呈现顺序下的答案完全一致（ unanimous ），这些答案也经常是错误的。

这表明，聚合只能缓解部分随机波动，无法解决系统性的选择偏差。一致同意的答案可能只是模型在多种排列下犯了同一个错误，而非真正理解了问题。

累积失败集（Cumulative Failure Set） 是本研究中用于衡量鲁棒性的核心指标：它统计在多种选项排列下，至少出现一次错误的问题集合相对于原始顺序下错误集的扩大比例。与整体准确率不同，该指标关注“同一个问题在不同排列下答案命运的变化”——哪些原本正确的问题在洗牌后首次失败，且该失败会持续影响后续所有排列的最终结果。累积失败集扩大27%–29%意味着，尽管平均准确率几乎不变，但近三成原本可正确回答的问题在某个排列下会“永久性”丢失正确答案。这一指标比准确率更敏感地捕捉了选择偏差的隐蔽危害：模型可能在不同排列间“交换”对错，使总体准确率掩盖了个体层面的脆弱性。

结论：稳定准确率不等于抗偏差

这项研究暴露了可重复决策与跨等价呈现保持正确决策之间的鸿沟。Jev式System One模型虽然提供了直接的概率预测结构，但并未从根本上解决选择偏差问题。稳定的准确率指标可能掩盖了模型对选项排列的敏感性，而这种敏感性在现实部署中可能导致不可预测的失败。

对于AI应用开发者而言，这意味着在选择模型或设计评估时，不能仅依赖固定顺序下的准确率。需要引入选项洗牌等对抗性测试，才能真实衡量模型决策的鲁棒性。结构上的简化（如System One式直接预测）并不能自动带来偏差的减少，选择偏差的根源可能比模型架构更深。

一致同意（Unanimous Agreement） 在聚合策略中通常被视为高置信度的信号：若模型在多种选项排列下给出相同答案，则推测该答案可靠。然而，本研究发现这一假设不成立。原因在于，选择偏差是系统性而非随机性的——模型可能因相同的底层偏好（如对特定位置或语义标签的倾向）在多种排列下犯同一个错误。例如，若模型偏好选择包含特定关键词的选项，而该关键词恰好在错误选项中出现，则无论顺序如何，模型都可能一致地选错。因此，一致同意只能排除随机波动导致的差异，无法排除系统性偏差导致的共同错误。聚合策略的有效性取决于个体错误是否独立，而选择偏差恰恰引入了相关性，使投票和一致同意均无法可靠提升鲁棒性。