待验证50% 置信事实精确时间

差异项目功能分析（DIF）发现，来自不同开发者的模型在'拒绝能力'相同的情况下，HarmBench得分存在系统性差异。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/13

首次发现

有效期至：2027/1/11

来源

AI安全基准真的在测量"有害拒绝"吗？一项心理测量学审计

涉及实体

HarmBenchproduct DIFconcept

相关事实

待验证在最强的模型上实验各组差异落在置信区间之内，研究者将结果表述为方向性模式和健全性属性而非被证明的性能下限67% 相似待验证一项针对HELM Safety基准的心理测量学审计研究指出，模型之间相似的总分可能掩盖截然不同的属性剖面。67% 相似待验证benchmark分数与实际开发体验之间存在显著落差，模型可能在标准测试中领先却在真实项目中表现平平66% 相似待验证既往EF预测研究之间的差异很大程度上源于目标人群的不一致，不同研究采用异质化的纳入标准和不同的拔管失败定义65% 相似待验证不同模型在基准测试上的性能差异往往远小于同一模型在不同任务类型、不同输入格式下的行为差异65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1013427

API

curl https://kongchang.com/api/v1/knowledge/claims/1013427

MCP

get_claim(id=1013427)