[控场AI]
概念compliance rate

合规率

安全评估中的一种指标,指模型输出中被判定为'合规'(完整给出有害内容)的响应占总响应数的比例,对评分器偏差敏感,评分器间差异可呈乘性放大。

时间轴 (近 90 天)

10月20日

在两个各含900条响应的语料、共八个评分器上,合规率在不同评分器之间相差22到25倍。

待验证50%
10月20日

剔除三个坍缩评分器后,剩下四个语料上的合规率仍相差1.7到2.8倍,非拒绝率相差10到22个百分点。

待验证50%
10月20日

合规率的跨评分器差异表现为乘性(比值可达数十倍),而非拒绝率的差异表现为加性(百分点差),因此非拒绝率对评分器分歧更稳健但更粗粒度。

待验证50%

全部知识事实 (3)

来源文章