概念compliance rate
合规率
安全评估中的一种指标,指模型输出中被判定为'合规'(完整给出有害内容)的响应占总响应数的比例,对评分器偏差敏感,评分器间差异可呈乘性放大。
时间轴 (近 90 天)
10月20日
在两个各含900条响应的语料、共八个评分器上,合规率在不同评分器之间相差22到25倍。
待验证50%
10月20日
剔除三个坍缩评分器后,剩下四个语料上的合规率仍相差1.7到2.8倍,非拒绝率相差10到22个百分点。
待验证50%
10月20日
合规率的跨评分器差异表现为乘性(比值可达数十倍),而非拒绝率的差异表现为加性(百分点差),因此非拒绝率对评分器分歧更稳健但更粗粒度。
待验证50%