AI安全基准真的在测量"有害拒绝"吗？一项心理测量学审计

安全基准的"聚合陷阱"

AI安全评测领域有一个被广泛忽视的方法论问题：当一个基准套件将多个数据集、多个行为维度的得分聚合为一个总分时，这个总分究竟在测量什么？

一项针对HELM Safety基准的心理测量学审计研究指出，模型之间相似的总分可能掩盖截然不同的属性剖面（attribute profiles）。更棘手的是，即使聚焦到单个数据集层面，也未必能保证其分数隔离了某一个特定属性。研究者以"有害拒绝"（harmful refusal）——即模型拒绝危险或违反政策的提示词的倾向——作为候选属性，系统检验了它是否构成HELM Safety中一个可独立测量的单一属性。

这项工作采用构念效度（construct validity）框架，其核心前提是：一个属性必须首先真实存在，测试才有可能测量它。这一逻辑看似基础，却在安全评测的实践中经常被跳过。

构念效度（construct validity）是心理测量学中的核心概念，最早由Cronbach和Meehl于1955年系统提出。它追问的是一个根本性问题：一个测试是否真的在测量它声称要测量的那个心理属性或行为构念。构念效度的验证不是一次性的，而是一个持续积累证据的过程，通常包括内容效度（题目是否覆盖了目标构念的各个方面）、结构效度（分数是否呈现出与理论预期一致的内在结构）、以及外部效度（分数是否与其他相关测量存在合理关联）。在AI安全评测中套用这一框架意味着：在比较模型的安全分数之前，必须先证明这些分数确实隔离并测量了某个明确定义的属性，否则分数差异可能来自与目标属性无关的噪声或混淆变量。

四个候选数据集，三个已经饱和

研究者从HELM Safety中筛选出四个可能以"有害拒绝"为目标的候选数据集，结果发现其中三个已经饱和（saturated）。

所谓饱和，意味着这些数据集的分数变化空间极其有限——模型的表现在这些数据集上趋于一致，无法提供有效的区分信息。这本身就是聚合分数的隐患之一：当某个数据集的分数不再有区分度时，它在总分中的权重却依然存在，稀释了其他数据集所携带的真实信号。

真正进入深入分析的只剩下HarmBench数据集。研究者对它施加了两项心理测量学检验，以判断"有害拒绝"这一单一属性是否真的支撑着它的分数。

饱和（saturation）在测量理论中指的是测试分数失去了区分被测对象的能力。当所有模型在某个数据集上的得分都趋近于上限（天花板效应）或下限（地板效应）时，该数据集的方差极小，无法提供关于模型能力差异的有效信息。在安全基准的语境下，饱和通常出现在基准发布一段时间之后——随着模型开发者针对已知基准进行优化，原本有区分度的题目逐渐被"攻克"，分数集体攀升至接近满分。饱和的数据集如果仍被纳入聚合总分，其效果相当于在平均分中混入了一个常数，不仅不贡献信息，还会稀释其他仍有区分度的数据集的信号权重。

多维项目反应理论：HarmBench并非单一属性

第一项检验使用多维项目反应理论（multidimensional item response theory, MIRT）建模。结果显示，HarmBench的分数强烈地不支持"单一属性"假设。

MIRT的核心价值在于，它能检测一个测试是否在实质上测量了多个潜在维度。如果一个数据集真的只测量"有害拒绝倾向"，那么模型在各题目上的表现应当能被一个统一的潜在变量解释。但HarmBench的数据模式表明，它同时捕捉了多个不同的维度——不同的伤害类型、不同的政策领域，各自遵循不同的难度和区分度参数。

这意味着，当我们说"模型A的HarmBench得分高于模型B"时，这个判断并不等价于"模型A比模型B更倾向于拒绝有害请求"。分数差异可能来自完全不同的题目子集和行为模式。

项目反应理论（item response theory, IRT）是一套用于建模被试在测试题目上作答概率的统计框架。它的核心思想是：每个题目有自己的难度（difficulty）和区分度（discrimination）参数，而被试在每个题目上的表现由其潜在能力水平决定。多维项目反应理论（MIRT）是IRT的扩展，允许模型同时估计多个潜在维度，并检验每个题目在多大程度上受哪个维度影响。在AI安全评测中应用MIRT，可以回答一个关键问题：模型在各题目上的得分模式能否被单一潜在变量（如"有害拒绝倾向"）充分解释，还是需要多个维度才能拟合数据。如果MIRT分析显示单维模型拟合显著劣于多维模型，就说明该数据集实际上混合了多个不同的行为属性，不能被视为单一构念的测量工具。

差异项目功能分析：同一能力，不同打分

第二项检验是差异项目功能分析（differential item functioning, DIF）。研究者发现了这样的题目：来自不同开发者的模型，在"拒绝能力"相同的情况下，得分却存在系统性差异。

这直接动摇了跨模型比较的公平性基础。如果两个模型的真实拒绝倾向一致，但基准分数因为题目层面的偏差而产生差异，那么基于这个分数做出的安全判断就可能误导决策。研究同时指出，当采用范围特定的匹配（scope-specific matching）后，这些偏差标志大部分消失了。这一模式与聚合效应一致——即差异可能源于题目混合了不同领域的伤害行为，而非开发者之间的真实能力差异。但研究者也谨慎地表示，这不足以完全排除特定领域上的开发者差异。

差异项目功能（differential item functioning, DIF）是心理测量学中检测测试公平性的标准方法。经典DIF分析关注的是：在控制了被试的真实能力水平之后，来自不同群体（如不同性别、种族）的被试在同一题目上的作答概率是否存在系统性差异。如果存在，说明该题目对某个群体存在偏差。在AI安全评测中，研究者将"不同开发者的模型"类比为不同群体，将"拒绝能力"类比为真实能力水平。当两个拒绝能力相当的模型在某道题目上表现出显著不同的通过率时，该题目就被标记为存在DIF。研究者进一步采用范围特定匹配（scope-specific matching）——即只在相同伤害类型或政策领域的题目子集内进行能力匹配——来检验偏差是否由题目混合了不同领域的行为所致。

聚合分数隐藏了什么

把视野拉远，问题变得更加清晰。HarmBench本身就已经将不同的伤害行为压缩为一个分数，而HELM Safety的总聚合又进一步将HarmBench与其他数据集的分数折叠成一个顶线数字。

这种层层聚合的代价是双重的：它既掩盖了数据集饱和的事实，也混淆了本质上不同的行为类型。一个在暴力内容上拒绝率很高但在隐私泄露场景中表现宽松的模型，与一个在所有场景中表现均匀的模型，可能获得相近的总分——但两者的安全含义截然不同。

研究者由此提出了一个方法论主张：任何对数据集和题目取平均的安全分数，都需要先证明自己配得上"单一属性"的解读，然后才能用于模型比较。这个要求并不苛刻，它只是把构念效度的基本逻辑应用到了AI安全评测中。

更广泛的影响

对于AI安全研究者和模型开发者而言，这项审计传递了一个明确的信号：基准分数不是透明窗口，而是多层设计决策的产物。数据集的选择、题目的构成、聚合的方式，每一个环节都在塑造最终的数字，也在塑造我们据此做出的安全判断。

在行业竞相发布安全评测结果的当下，追问"这个分数到底在测量什么"，比追问"哪个模型得分更高"更值得投入精力。