HELM Safety

一项针对HELM Safety基准的心理测量学审计研究指出，模型之间相似的总分可能掩盖截然不同的属性剖面。

研究者从HELM Safety中筛选出四个可能以'有害拒绝'为目标的候选数据集，其中三个已经饱和，无法提供有效的区分信息。

HarmBench本身将不同的伤害行为压缩为一个分数，而HELM Safety的总聚合又进一步将HarmBench与其他数据集的分数折叠成一个顶线数字。