[控场AI]
概念Area Under the ROC Curve / ROC-AUC / 受试者工作特征曲线下面积

AUC

二分类模型最核心的综合评估指标,值域0.5到1.0,不受样本类别不平衡影响,综合衡量模型在所有分类阈值下的区分能力。0.8-0.9为良好,0.9以上为优秀

核心事实

时间轴 (近 90 天)

10月14日

z-score 是 SynthID 检测器的输出统计量,衡量被检文本中水印 token 的偏向程度相对于无偏置随机文本的偏离有多大;AUC 衡量检测器区分水印文本与干净文本的整体能力,0.5 表示完全没有区分力,1.0 表示完美区分。

待验证50%
10月14日

交换名称与定义后 AUC 低于 0.5 表明模型分数仍能区分类别但方向被系统性反转,无法通过调整阈值修正。

待验证50%
10月14日

在野外数据集上,传统唇语同步检测器的AUC(曲线下面积)往往显著下降,因为许多伪造片段中嘴唇区域模糊或不可见,而物理感知检测器能够利用距离-语音能量一致性这一独立线索维持较高的判别能力。

待验证50%
10月13日

AUC是衡量二分类模型排序能力的指标,取值0.5到1,不依赖具体阈值;McNemar检验是针对配对二分类数据的统计检验,p<0.05通常视为显著。

待验证50%
10月13日

AUC是衡量二分类检测器性能的标准指标,取值为0.5到1.0,98.8% AUC表示在约99%的样本对中,探针能正确地把存在欺骗的对话排在无欺骗的对话之前。

待验证50%
10月13日

全量数据对比中,LLM-BlockFE 相对于最强基线,每个数据集上的 AUC 绝对提升在 0.0069 到 0.0358 之间。

待验证50%
10月13日

在成熟的风控模型中,AUC 提升 0.01 往往意味着坏账率或通过率的实质变化。

待验证50%
9月24日

在信用风控案例中,若训练样本包含申请发生后才更新的还款记录,模型AUC可能虚高5到10个百分点,上线后表现断崖式下滑

待验证50%
9月11日

当对照句替换为语域与成员句不同的句子时,MIA检测器的AUC从0.83飙升到0.94

待验证50%
9月11日

模型评估应区分离线指标(AUC、精确率/召回率)和在线指标(A/B测试、业务KPI)

待验证50%

还有 5 条时间轴事件

全部知识事实 (20)

已验证

AUC值域为0.5到1.0,0.5代表随机猜测、1.0代表完美预测,不受样本类别不平衡影响

75%
已验证

业界通用标准中,AUC > 0.9为优秀,0.8~0.9为良好,0.7~0.8为一般,0.5~0.7为较差,0.5等同于随机猜测

70%
已验证

ROC曲线的AUC=1表示完美分类器,AUC=0.5等同于随机猜测

70%
已验证

AUC等于从所有正样本中随机抽取一个、从所有负样本中随机抽取一个,正样本的预测分数高于负样本预测分数的概率

65%
待验证

AUC可以通过梯形法则对ROC曲线下方面积进行数值积分得到,也可以通过Mann-Whitney U统计量等价计算

95%
待验证

AUC的取值范围在0到1之间,数值越大代表模型分类能力越强

95%
待验证

识别过拟合的经典方法是比较训练集AUC和验证集AUC——如果训练集AUC接近1.0而验证集AUC明显偏低,就是过拟合的典型信号

90%
待验证

AUC(Area Under Curve)是衡量分类模型好坏最常用的指标之一

85%
待验证

利用正样本秩次之和快速计算AUC的算法时间复杂度为O(n log n)

60%
待验证

z-score 是 SynthID 检测器的输出统计量,衡量被检文本中水印 token 的偏向程度相对于无偏置随机文本的偏离有多大;AUC 衡量检测器区分水印文本与干净文本的整体能力,0.5 表示完全没有区分力,1.0 表示完美区分。

50%
待验证

交换名称与定义后 AUC 低于 0.5 表明模型分数仍能区分类别但方向被系统性反转,无法通过调整阈值修正。

50%
待验证

在野外数据集上,传统唇语同步检测器的AUC(曲线下面积)往往显著下降,因为许多伪造片段中嘴唇区域模糊或不可见,而物理感知检测器能够利用距离-语音能量一致性这一独立线索维持较高的判别能力。

50%
待验证

AUC是衡量二分类模型排序能力的指标,取值0.5到1,不依赖具体阈值;McNemar检验是针对配对二分类数据的统计检验,p<0.05通常视为显著。

50%
待验证

AUC是衡量二分类检测器性能的标准指标,取值为0.5到1.0,98.8% AUC表示在约99%的样本对中,探针能正确地把存在欺骗的对话排在无欺骗的对话之前。

50%
待验证

全量数据对比中,LLM-BlockFE 相对于最强基线,每个数据集上的 AUC 绝对提升在 0.0069 到 0.0358 之间。

50%
待验证

在成熟的风控模型中,AUC 提升 0.01 往往意味着坏账率或通过率的实质变化。

50%
待验证

在信用风控案例中,若训练样本包含申请发生后才更新的还款记录,模型AUC可能虚高5到10个百分点,上线后表现断崖式下滑

50%
待验证

当对照句替换为语域与成员句不同的句子时,MIA检测器的AUC从0.83飙升到0.94

50%
待验证

模型评估应区分离线指标(AUC、精确率/召回率)和在线指标(A/B测试、业务KPI)

50%
待验证

在深度伪造检测的生产环境中真实图像与伪造图像比例可能高达1000:1甚至更高,极端不平衡下AUC对长尾失败几乎没有区分度

50%

来源文章